admin管理员组

文章数量:1529448

节前,我们星球组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、参加社招和校招面试的同学.

针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。

汇总合集:《大模型面试宝典》(2024版) 发布!


今天分享如何用大模型+本地资料,构建专属知识库。 技术交流文末获取。

开源地址:https://github/Mintplex-Labs/anything-llm

核心解决的是大模型幻觉的问题。我们都知道,大模型对于自己不知道的问题可能会乱答。比如,如果你向大模型询问你们公司今年的战略目标,大模型可能压根没听说过你们公司。这时候如果大模型回复不知道还好点,如果乱答就误人子弟了。

对于幻觉问题,目前是这样解决的,先将背景信息告诉大模型,这样大模型就可以提前学习相关知识, 这时候再向大模型提问,就可以得到准确的答案了。

AnythingLLM 就是解决这样问题的通用框架。除了能解决幻觉问题,还可以用它来读论文、读代码,非常方便。

安装使用非常方便,支持 Win、Mac、Linux 平台,也可以使用Docker安装,不需要编程。

要使用 AnythinLLM,需要设置以下三方面设置

第一,LLM Preference,就是使用哪个大模型,AnythinLLM 支持模型特别多。需要说明的是,如果你用的是中转的ChatGPT接口,选择“Local AI”即可。

第二,Embedding Model,可以把本地资料向量化,这样就可以根据提问的问题,匹配对应的资料片段。如果你的本地资料是保密的,需要用本地的Model,否则可能会造成数据泄露。

第三,Vector Database 向量数据库,用于存储第二步生成向量。选择 AnythingLLM 自带的即可。

设置完以后,上传本地资料可以使用了。

下面分享一下我使用的示例,给大家参考下。

第一个是阅读本地代码,解释其中的代码逻辑

也可以让它开发新需求

第二个示例,则是将它作为论文阅读助手,帮助我们快速阅读论文。

有需要的朋友可以试试。

技术交流群

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了算法岗技术与面试交流群, 想要获取最新面试题、了解最新面试动态的、需要源码&资料、提升技术的同学,可以直接加微信号:mlc2040。加的时候备注一下:研究方向 +学校/公司+CSDN,即可。然后就可以拉你进群了。

方式①、微信搜索公众号:机器学习社区,后台回复:加群
方式②、添加微信号:mlc2040,备注:技术交流

用通俗易懂方式讲解系列

  • 《大模型面试宝典》(2024版) 正式发布!

  • 《大模型实战宝典》(2024版)正式发布!

  • 用通俗易懂的方式讲解:自然语言处理初学者指南(附1000页的PPT讲解)

  • 用通俗易懂的方式讲解:1.6万字全面掌握 BERT

  • 用通俗易懂的方式讲解:NLP 这样学习才是正确路线

  • 用通俗易懂的方式讲解:28张图全解深度学习知识!

  • 用通俗易懂的方式讲解:不用再找了,这就是 NLP 方向最全面试题库

  • 用通俗易懂的方式讲解:实体关系抽取入门教程

  • 用通俗易懂的方式讲解:灵魂 20 问帮你彻底搞定Transformer

  • 用通俗易懂的方式讲解:图解 Transformer 架构

  • 用通俗易懂的方式讲解:大模型算法面经指南(附答案)

  • 用通俗易懂的方式讲解:十分钟部署清华 ChatGLM-6B,实测效果超预期

  • 用通俗易懂的方式讲解:内容讲解+代码案例,轻松掌握大模型应用框架 LangChain

  • 用通俗易懂的方式讲解:如何用大语言模型构建一个知识问答系统

  • 用通俗易懂的方式讲解:最全的大模型 RAG 技术概览

  • 用通俗易懂的方式讲解:利用 LangChain 和 Neo4j 向量索引,构建一个RAG应用程序

  • 用通俗易懂的方式讲解:使用 Neo4j 和 LangChain 集成非结构化知识图增强 QA

  • 用通俗易懂的方式讲解:面了 5 家知名企业的NLP算法岗(大模型方向),被考倒了。。。。。

  • 用通俗易懂的方式讲解:NLP 算法实习岗,对我后续找工作太重要了!。

  • 用通俗易懂的方式讲解:理想汽车大模型算法工程师面试,被问的瑟瑟发抖。。。。

  • 用通俗易懂的方式讲解:基于 Langchain-Chatchat,我搭建了一个本地知识库问答系统

  • 用通俗易懂的方式讲解:面试字节大模型算法岗(实习)

  • 用通俗易懂的方式讲解:大模型算法岗(含实习)最走心的总结

  • 用通俗易懂的方式讲解:大模型微调方法汇总

本文标签: 知识库助手问答私人代码