预训练、SFT、RLHF 与 DPO 分别做什么？

返回 大模型基础 目录

标准回答

预训练从大量数据学习通用模式；SFT 用示范样本学习任务或指令行为；RLHF 利用人类反馈引导优化；DPO 直接利用偏好对训练策略模型，是一种偏好优化方法。

关键机制

• SFT 样本常包含输入与理想输出；偏好数据常比较同一输入下哪个回答更好，数据质量与代表性非常关键。
• 常见 RLHF 路线先训练奖励模型，再用强化学习优化策略；不是所有对齐流程都必须采用同一套组件。
• DPO 在其设定下直接用偏好数据优化，不需在训练循环中采用传统的显式奖励模型加 PPO 流程。

通俗例子

希望设备助手先确认目标设备，再执行操作：可用清楚示范学习行为，再通过更好与更差的结果比较优化偏好；实际权限仍由执行层保证。

易混淆点

偏好更高不等于事实一定更准确，奖励设计偏差也可能鼓励表面讨好。应用开发通常先理解用途，再决定是否需要训练。

参考资料

• 官方参考

内容来源

• Android 技术札记 · 原条目 alignment