RAG 怎样判断是真的变好了？

返回 RAG 与记忆 目录

标准回答

检索看正确证据能否进入候选并排在前面；回答看是否正确、受证据支持且引用准确；整体看任务完成、延迟、成本和拒答是否合理。

关键机制

• Recall@K 表示前 K 个候选覆盖了多少相关材料；MRR 关注第一个相关结果的位置；nDCG 可反映有分级相关性时的排序质量。
• 准备正常、模糊、无答案、跨版本和权限受限问题，并标注参考证据；调参样本与最终验证样本分开。
• 每次改分块、Embedding、重排或 Prompt，都记录版本并对比同一套样本；模型评审要与人工抽查或程序验证配合。

通俗例子

topK 从 5 加到 30 后召回率提升，但回答更慢且被过时资料干扰，说明局部指标改善不等于用户任务更成功。

易混淆点

答案带引用也可能引用错；模型对答案的“自信分”不能直接当作经过校准的正确概率。

参考资料

• 官方参考

内容来源

• Android 技术札记 · 原条目 rag-metrics