如何理解Precision、Recall、MRR 与统计单位？

返回 EachOf 项目 目录

项目版本说明

这些问答整合历史设计与实现资料；当前 main 分支 README 以工作包描述建设状态。具体能力、实验数据与设计目标的边界见项目状态与证据。

标准回答

对一个查询，Precision@K 通常是前 K 个中相关项数除以 K，Recall@K 是找回的相关项数除以该查询全部相关项数；MRR@K 则关注第一个相关项的倒数排名，未命中记零，再对查询求均值。返回不足 K 时的分母、重复项和无相关项查询应明确约定。

有些实验把“前 K 内是否出现任何正确内容”称为 Recall 或命中率，它不等于按全部相关文档计算的 Recall。EachOf 的 LoCoMo 结果应结合该实验的答案匹配器阅读：主要口径采用 token_fraction_v1、阈值 0.50，另有 whole_token 严格口径，不能直接当作统一人工相关性标注。

同一候选在匹配规则变化后指标可能变化，这是测量尺子的变化，不一定是检索引擎变好。比较时锁定查询、标注或匹配规则、候选、K、随机种子与聚合方式，再报告分布和不确定性。

追问与回答

Precision 增加而 Recall 不变可能吗

可以，例如固定目标覆盖但减少前列噪声，或不同指标的匹配定义不同。应回到每查询结果判断，而不是认为指标必须同步。

为何小样本会出现 3.75 个百分点

单查询 Precision@5 的步长可为 20 个百分点，多查询和多种子平均后可以形成更小步长；必须说明聚合单位，不能从小数位数推断统计精度。

易混淆点

• 把不同评估器、不同 K 的指标直接横向排名。

内容来源

• Android 与 AI 工程 Wiki · 原条目 q168