DPO（Direct Preference Optimization）为什么可以替代PPO？

返回 大模型基础 目录

标准回答

DPO 直接用“同题两份回答中更喜欢哪份”的数据优化模型，简化了显式奖励模型加 PPO 的训练路径。

• 训练样本包括提示、偏好回答和非偏好回答。
• 目标约束策略相对于参考模型的偏好概率变化。
• 效果取决于数据覆盖、标注一致性、训练设置和评估任务。

通俗例子

同一个问题，准确简洁的回答优于含糊冗长的回答，训练让前者相对更受偏好；数据偏差和评估仍然重要。

易混淆点

流程更直接不等于在所有任务都优于 RLHF；偏好数据偏差仍然会影响模型。

参考资料

• DPO 原始论文

内容来源

• Android · AI Agent 知识手册 · 原条目 ai-Q114