外观
如何理解正负对照与未通过的精度检查?
项目版本说明
这些问答整合历史设计与实现资料;当前 main 分支 README 以工作包描述建设状态。具体能力、实验数据与设计目标的边界见项目状态与证据。
标准回答
校准记录包含年龄分离、同龄、有使用与无使用、全部近期内容、错误标记与撤销等对照。全部近期负对照的差值为零,同龄使用项高于未使用项,简单只按新鲜度的对照会降权 16/16 信号,而选定治理配置未降权这 16 条信号。这些对照帮助判断结果是否仅来自年龄差。
必须同时保留一个未通过项:54 组 Qwen 配置都未达到旧精度夹具的 0.70 门槛;选中配置为 0.0667,最好一组为 0.0749。记录把它解释为旧 fallback 相关夹具与真实语义邻域不匹配的限制,不能写成所有精度门禁均通过。
下一步应检查标注与模型适用性,在预先确定的新协议上复测,并保留旧结果。不能为了得到通过结论事后删除失败指标,也不能只凭这个不匹配夹具直接断言所有真实检索都不可用。
追问与回答
为什么要有同龄对照
它压住单纯新鲜度差异,帮助检验使用反馈是否提供额外区分信息。控制变量仍不能代替真实长期行为。
失败门槛能否重设
可以在解释适用性并建立独立验证集后修订,但应标明测量协议改变,避免与旧结果直接比较或按结果倒推阈值。
易混淆点
- 隐藏不利夹具结果,声称整套实验全部通过。
内容来源
- Android 与 AI 工程 Wiki · 原条目
q170