外观
Precision@5 提升 3.75 个百分点是怎么算的,能证明多大范围的效果?
项目版本说明
这些问答整合历史设计与实现资料;当前 main 分支 README 以工作包描述建设状态。具体能力、实验数据与设计目标的边界见项目状态与证据。
标准回答
在每条查询输出五个结果的口径下,Precision@5 是相关结果数除以五,再按约定方式汇总查询。简历中的 3.75 个百分点表示新旧指标绝对差 0.0375;这是特定数据和条件下的受控重排结果,不能扩展成整体回答准确率或线上收益。
- 16 条是有效记忆数量,不自动等于查询数量。应说明查询集有多少条、谁定义相关、少于五条时怎样计分,以及采用何种汇总。
- 基线和新方案保持相同查询、Embedding、候选与输出预算,尽量只改变待验证的排序因素。若其他环节也变了,收益不能全归因于衰减。
- 提升可能受查询选择和标签影响。可报告逐查询差异、失败样例和重复性,再用更大且独立的数据集确认外推能力。
通俗例子
仅作算术示范:假设有 16 条查询,每条返回 5 条,共 80 个位置,比基线多 3 个相关结果,平均提升就是 3÷80=3.75 个百分点。这不是简历实验的已知查询数量。
深入解释
**明确分母与标签:**16 条是有效记忆数量,不自动等于查询数量。应说明查询集有多少条、谁定义相关、少于五条时怎样计分,以及采用何种汇总。
**明确公平比较:**基线和新方案保持相同查询、Embedding、候选与输出预算,尽量只改变待验证的排序因素。若其他环节也变了,收益不能全归因于衰减。
**解释小样本限制:**提升可能受查询选择和标签影响。可报告逐查询差异、失败样例和重复性,再用更大且独立的数据集确认外推能力。
追问与回答
单条查询每次不是跳 20 个百分点吗?
单条 Top-5 的相关条数是整数,但跨查询平均后可产生 3.75 这样的差值。具体来自多少查询必须查原记录。
能说相对提升 3.75% 吗?
不能。相对提升还需用绝对增量除以基线值;简历没有给出基线值。
易混淆点
16 条有效记忆不是 16 条查询;3.75 个百分点不是已知的相对增长率。
进一步举证
- 补齐查询数、基线值、新值、相关性标签与评估脚本。
- 保存逐查询结果、失败样例和相同预算的配置。
内容来源
- Android · AI Agent 知识手册 · 原条目
resume-R30