老牌中文 RAG 项目:基于 LangChain 思想,加载→分割→向量化→检索→生成的完整链路透明可见,FastAPI 出 API、Streamlit 出 WebUI,可全离线(开源 LLM+Embedding+向量库),也可接在线模型 API。对想看懂、改动每一环的开发者最友好。

适用场景:需要深度定制检索链路、离线私有化、把知识库问答做成自有产品后端API 的开发团队

Langchain-Chatchat 中文 离线部署 FastAPI 二次开发

操作步骤

  1. pip install langchain-chatchat -U 或 Docker 部署(官方强烈建议 docker-compose)
  2. 初始化配置与知识库目录,把文档放进知识库并做向量化入库
  3. 在模型配置中接入推理框架(Xinference/Ollama)或在线 API(见下)
  4. 启动 FastAPI 服务与 WebUI,在 WebUI 里做知识库管理和问答测试,再把 API 集成进业务系统
接入本站 API:其联网模型接入支持 OpenAI 格式的 API 调用:在模型平台配置中添加 OpenAI 兼容平台,平台地址填 https://tokenbuddy.cc、Key 填 LIN 的 Key、模型名填准确 ID,即可把生成模型换成 LIN 提供的模型;Embedding 可继续用本地中文模型(如 m3e/bge 系列,项目早期默认示例为 moka-ai/m3e-base),形成“本地检索 + LIN 生成”的组合。

注意事项

  • ⚠️ Python 版本与依赖(项目页称支持 3.8–3.11,以当前仓库为准)不对,安装阶段就报错连环
  • ⚠️ 默认配置直接上线:默认模型/向量库只是示例,不按自己文档调分块与召回参数,效果必然一般
  • ⚠️ 离线部署前没算 Embedding 与 LLM 的算力账,CPU 跑大模型问答延迟不可用

来源:https://www.aihr.wang/sites/18729.html