Mintplex Labs 出品,个人与小团队最省事的一档:桌面版一键安装,文档按 Workspace 隔离管理,内置 RAG(默认 LanceDB 向量库免配置)、支持 30+ LLM 供应商、多用户与角色权限(Docker 版)、Agent 与无代码流程。定位是“驾驶舱不是引擎”——模型、向量库都可替换。

适用场景:个人第二大脑/论文资料问答、小团队按部门隔离的文档问答、想先在本地验证 RAG 效果再上服务器

AnythingLLM 文档对话 工作区 桌面端 隐私

操作步骤

  1. 装桌面版(Win/macOS/Linux 一键安装)或 Docker 部署多人版
  2. 在 LLM Preference 里选供应商并填好(见下);Embedder 同理(可用其支持的云端 Embedding 或本地模型)
  3. 新建 Workspace → 上传 PDF/Word/Excel/网页等 → 等待向量化
  4. 在工作区内提问,答案带来源;不同项目建不同工作区避免串库
接入本站 API:在设置里把 LLM 供应商选为 Generic OpenAI(其自定义 OpenAI 兼容入口;条目名以当前版本为准):Base URL 填 https://tokenbuddy.cc、Key 填 LIN 的 Key、模型名填准确 ID;Embedding 若 LIN 提供兼容的 embeddings 接口,同样用 Generic OpenAI 入口添加,否则用其内置/本地 Embedder。每个 Workspace 还可单独指定模型,适合“客服库用便宜模型、研报库用强模型”的分工。

注意事项

  • ⚠️ 所有文档塞进一个工作区:检索互相干扰,权限也没法分
  • ⚠️ 用云端 LLM 时以为“本地部署=数据不出机”:被检索到的片段会发给所选的云端模型供应商,敏感库要么用 LIN 侧可信模型并知情,要么全本地
  • ⚠️ 相似度阈值与聊天模式(Chat vs Query 模式)不调:Query 模式只答有据问题,Chat 模式会带闲聊记忆,按场景选

来源:https://localaimaster.com/blog/anythingllm-setup-guide