主打把私有数据（PDF、API、SQL、文档）接入 LLM：数据连接器、索引、检索/查询引擎一整套，做文档问答和数据 Agent 比从零拼向量库省事得多。

适用场景：企业文档问答、合同/手册检索、把业务数据库变成可问答接口。与「知识库问答」专栏有交叉，编程栏侧重代码集成方式。

rag data-framework llama-index document-qa

操作步骤

  1. pip install llama-index llama-index-llms-openai。
  2. 设置 LLM：OpenAI(model="your-model-id", api_base="https://tokenbuddy.cc/v1", api_key="{{API_KEY}}")（LlamaIndex 里字段叫 api_base，不是 base_url，这是最常见的填错点）。
  3. 先用少量文档建索引跑通查询，再扩数据量和换向量库。
代码示例
  from llama_index.llms.openai import OpenAI
  llm = OpenAI(model="your-model-id", api_base="https://tokenbuddy.cc/v1", api_key="{{API_KEY}}")
  print(llm.complete("Hello").text)

开源项目信息

  • 仓库：https://github.com/run-llama/llama_index
  • Stars 口径：本次检索未给出可引用星数，不填报
  • 许可：MIT（核心包，来源明示；部分第三方集成包为 AGPL/GPL，见 pitfalls）
接入本站 API：生成模型和（若本站提供）embedding 模型都指到同一 base_url；先用本站模型列表确认是否有 embedding 模型，没有就不要假设能做向量化。

注意事项

  • ⚠️ 字段名是 api_base，抄 LangChain 代码会踩坑
  • ⚠️ 核心 MIT 不代表每个集成包都 MIT，商用前逐个看所装 integration 的许可证
  • ⚠️ RAG 答非所问多半是切分/召回问题，不是模型不够大

来源：https://clawbot.ai/wiki/ai-processing/llamaindex-data-framework.html