如何理解检索评估的可复现记录模板？

返回 EachOf 项目 目录

项目版本说明

这些问答整合历史设计与实现资料；当前 main 分支 README 以工作包描述建设状态。具体能力、实验数据与设计目标的边界见项目状态与证据。

标准回答

一份记录至少包含代码提交、模型与工件身份、维度、数据来源和规模、查询集合、随机种子、候选生成参数、过滤规则、排序权重、TopK、Token 预算、相关性定义、聚合方式和原始结果位置。若只改重排，明确候选是否只捕获一次。

结果同时报告主要指标、负对照、失败项、时延与成本；注明哪些是离线重放、局部运行验证或真实线上观察。指标计算脚本本身也需要版本化，避免在同一个名称下悄悄改变匹配算法。

EachOf 的复现阅读顺序可从 weight-calibration-sweep.md 到原始表，再到 recall.go 的默认权重与排序逻辑，最后对照 memory/candidates.go 和 recall_parallel.go 的候选路径。当前教程没有重新运行私有项目实验，数字属于已核对的历史记录。

追问与回答

只保留一个最终平均值够吗

不够。每查询和每种子结果能发现少数样本主导、某类任务退化和重复数据，平均值无法解释这些现象。

发现样本污染怎么办

记录污染来源，冻结修订后的集合，并重新建立可比较基线；不要将修订前后的数值当作同一实验。

易混淆点

• 源码有默认参数，就认为历史实验一定使用完全相同参数。

内容来源

• Android 与 AI 工程 Wiki · 原条目 q172