AI 知识库首页

RAG 评测指标

RAG 深入与知识工程专题:用 2 个核心问题讲清原理、取舍与落地。

一句话定位

切分、索引、混合召回、重排、高级 RAG 与端到端评测。 按“数据 → 索引 → 查询 → 召回 → 重排 → 生成 → 评测”定位问题,不把 RAG 当成单一向量搜索。

核心原理与问题解析

Recall@K、MRR、nDCG 分别看什么?

Recall@K 看相关结果是否进入前 K;MRR 强调第一个相关结果排名;nDCG 考虑多条结果的分级相关性与位置。选择取决于一个还是多个证据能回答。

继续想: Precision@K 何时重要?;指标高为何答案仍差?

Faithfulness 与 Answer Relevance 有何区别?

Faithfulness 看回答是否由证据支持,Answer Relevance 看是否回答用户问题。回答可能相关但无证据,也可能忠于证据却答非所问,应分开评分。

继续想: 如何做自动评分?;引用正确率又是什么?

工程落地检查

  • 文档保留来源、版本、时间和 ACL
  • 检索层与生成层分开评测
  • 从关键词+向量的简单基线开始
  • 答案必须能定位到证据片段
  • 索引迁移支持双写、双读和回滚

常见误区

  • 盲目追求更大的 Chunk 或 Top-K
  • 更换 Embedding 却不重建索引
  • 只看回答流畅度,不测召回和忠实度

对应面试题

R19 Recall@K、MRR、nDCG 分别看什么? · R20 Faithfulness 与 Answer Relevance 有何区别?

延伸资料

RAG 原始论文 · Self-RAG · Corrective RAG · Microsoft GraphRAG