Langchain框架大模型精调的瑞士军

/本文约字预计阅读时间3分钟

面向大模型的垂直领域精调，现在有个开源的开发框架，叫做Langchain，非常好用。

它把这些开源模型微调的工作组组装起来了。它的作用就是可以让AI开发人员把像LLama，chatGLM、千问、Yi等一些开源大模型，然后做我们上周提到过的LoRA等微调方式，结合知识库的管理，可以往里面上传数据，做本地化部署，可以定制化自己的大模型，然后运用我们自己的算力去训练大模型，这就是Langchain这个平台能够带来的作用，其中Langchainchat-chat是它的页面UI端。

这里引用下官方对Langchain平台的介绍：

LangChain的功能主要集中在以下几个方面：

1.提供对大型语言模型（LLM）的调用和缓存支持：LangChain为开发人员提供了调用和缓存支持，使得他们可以更方便地利用LLM的能力。

2.用于构建聊天机器人、生成式问答（GQA）和摘要等应用程序：LangChain提供了用于构建这些应用程序的工具和组件，使得开发人员可以快速构建这些应用程序。

3.文档加载器和索引支持：LangChain提供了文档加载器和索引支持，使得开发人员可以轻松地加载和索引文档数据。

4.文档分割器和向量化：LangChain提供了文档分割器和向量化功能，使得开发人员可以对文档数据进行分割和向量化操作。

5.对接向量存储与搜索：LangChain提供了对接向量存储与搜索的功能，使得开发人员可以利用向量存储和搜索技术来处理文档数据。

6.提供丰富的API和工具：LangChain提供了丰富的API和工具，使得开发人员可以方便地进行自然语言处理任务，如文本分类、情感分析、命名实体识别等。

可以看到Langchain也提供了Agent(代理机器人)的能力，比如常用的RAG（检索知识增强）其实就是Agent的一种，就可以先在知识库里查询知识，再重组优化提示词。加入查询到的相关知识，然后再输入到大模型中去生成答案；而不是上来就直接拿用户写的提示词来生成答案。当然还有其他一些Agent，比如seq2seq做机器翻译，接入第三方API来做更多的事情，像地图服务、天气查询、联网搜索等都OK。

今天简单介绍了下Langchain，当然自己让你对它有个初步了解。如果想深度使用，可以搜索网络上的相关教程。

系列其他文章：

AI大模型时代的四种玩家

大模型系列知识分享(1)

用浅显的语言告诉你什么是GPT

大模型系列知识分享(2)

小白也能读懂的GPT底层原理

大模型系列知识分享（3）

浅析AI技术中很关键的注意力机制

大模型系列知识分享（4）

用大白话揭秘Sora视频生成原理及视觉注意力机制的应用：从扩散模型到DiT

啥是SFT，RLHF？看过此文后你也可以出去交(chui)流(niu)啦

大模型培系列知识分享(6)

微调大模型不再难：LoRA方法带你轻松节省99%的训练成本！

转载请注明：http://www.abuoumao.com/hyfw/8301.html