Skip to content
阅读进度

75 个百分点究竟来自什么实验? ​

返回 EachOf 项目 目录

项目版本说明

这些问答整合历史设计与实现资料;当前 main 分支 README 以工作包描述建设状态。具体能力、实验数据与设计目标的边界见项目状态与证据。

标准回答 ​

案例记录的结论是:在 Qwen3 Embedding 条件下,16 条信号与 100 条噪声的控制场景、相同 Top5 口径中,治理后的 Precision@5 相对无衰减基线提升 3.75 个百分点。这是受控小样本的机制证据,不是全量真实用户查询的普遍收益。

历史校准记录进一步说明:固定候选后离线重排,扫描 54 组配置,使用 42–46 五个随机种子,并同时检查 1542 个 LoCoMo 对。将 FeedbackWeight 从 0.10 改为 0.15 后,相对无衰减基线的差值由 0.0250 变为 0.0375。因此新配置相对旧配置新增 1.25 个百分点,而 3.75 不是相对旧配置的增量。

该选择下主要 LoCoMo R@20 仍为 0.5156,MRR@20 仍为 0.3515;严格口径仍为 0.3307 与 0.2400。正确表述应同时说明机制场景有改善、这些 LoCoMo 指标没有变化,且未证明真实生产反馈带来的长期收益。

追问与回答 ​

百分点和百分比有什么区别 ​

0.0250 到 0.0375 的绝对差是 0.0125,即 1.25 个百分点;相对增幅另需除以基线。这里不应将 3.75 个百分点写成相对提高 3.75%。

能否说优于所有无记忆或 RAG 系统 ​

不能。没有同数据、同模型、同候选预算与同评估协议的对照;当前实验比较的是规定的治理和权重条件。

易混淆点 ​

  • 省略基线,把 3.75 写成通用召回收益。

内容来源 ​

用完整回答理解机制,用真实证据解释项目。