RAG 好不好不能靠“问了几条感觉还行”。开源框架 RAGAS 的四指标已被 Red Hat、Databricks 等文档收录为标准口径：Faithfulness（答案是否被上下文支持）、Answer Relevancy（是否答到问题上）、Context Precision（召回片段排序是否靠前且相关）、Context Recall（参考答案所需信息是否都被召回）。做法：建 50–100 条带参考答案的金标集，每次改分块/换模型/调检索后跑一遍，分数回退就拦住上线。

适用场景：知识库从 demo 走向生产前的验收；每次换 Embedding/LLM、改分块策略后的回归测试

RAGAS 评估 Faithfulness 金标集 质量门禁

操作步骤

  1. 从真实用户问题里抽 50–100 条，人工写参考答案与应命中的文档，作为金标集（覆盖高频、易错、无答案三类）
  2. 安装 RAGAS，用“裁判模型”跑四指标：先看 Context Recall/Precision 判断检索，再看 Faithfulness 判断生成
  3. 定位规则：Recall 低 → 改分块/召回数/混合检索；Precision 低 → 加 rerank/提阈值；Faithfulness 低 → 换防幻觉模板（第 12 条）或降温度
  4. 把评测接进发布流程：每次变更自动跑分，任一核心指标明显回退不予上线（阈值按业务校准，英文指南有“context precision 低于 0.7 先修检索”一类经验值，仅作参考起点）
  5. 线上持续抽检：Faithfulness 与 Answer Relevancy 可对线上流量抽样打分（Context Recall 需要参考答案，只适合金标集）
接入本站 API：RAGAS 的裁判（LLM-as-judge）与被测生成都可走 OpenAI 兼容接口：把裁判模型与被测模型分别配置为 LIN 的模型 ID、Base URL 填 https://tokenbuddy.cc——评测一次跑 100 条会产生可观调用量，先用 LIN 后台按 Key 看用量、估成本，再决定是否裁判用便宜模型、被测用目标模型。

注意事项

  • ⚠️ 金标集全是简单问题：分数虚高，上线被真实复杂问题打回原形
  • ⚠️ 只看生成指标不看检索指标：Faithfulness 高只说明“忠于召回内容”，召回内容本身错了照样全错
  • ⚠️ 换了 Embedding 模型却不重跑评测：检索层悄悄退化没人发现

来源：https://docs.databricks.com/gcp/en/mlflow3/genai/eval-monitor/third-party-scorers/ragas