LLM 虽然在很多领域有了显著的效果,但其还是存在一定的局限性:
知识时效性受限:如何让 LLM 能够获取最新的知识 专业能力有限:如何打造垂直领域大模型 定制化成本高:如何打造个人专属的LLM应用
针对上述局限性,当前有两种解决方式:
RAG:(核心思想是给大模型外挂一个知识库,对于用户的提问首先从知识库中匹配相关文档,再将文档和问题提供给大模型) 低成本 可实时更新 受基座模型影响大 单次回答知识有限 **Fintune(**核心思想是在一个新的、较小的数据集上微调,提升模型在新数据集上的能力) 可个性化微调 知识覆盖面广 成本高昂 无法实时更新
1环境配置
1.1 InternLM 模型部署
1.2 模型下载
1.3 LangChain 相关环境配置
1.4开源词向量模型 Sentence Transforme下载
1.5 下载 NLTK 相关资源
2 知识库搭建
我们选择由上海人工智能实验室开源的一系列大模型工具开源仓库作为语料库来源,包括: