Reward Hacking 是什么？在 RLHF 中如何防止？

返回 大模型基础 目录

标准回答

Reward Hacking 是模型学会钻评分规则的空子，分数更高但真实任务没有做得更好。

通俗例子

评分只奖励长回答，模型可能不停堆字；只奖励引用数量，可能乱加链接。应验证真实结果，并用多种检查发现投机行为。

内容来源

• Android · AI Agent 知识手册 · 原条目 ai-Q113