RLHF 的完整训练流程是什么？每一步的目的是什么？

返回 大模型基础 目录

标准回答

经典 PPO 路线的 RLHF 流程是：在预训练模型上做 SFT，学会按指令回答 → 采集同一问题的多个答案及人类偏好排序 → 训练奖励模型预测偏好 → 用 PPO 优化策略，同时用 KL 约束偏离参考模型的幅度 → 独立评估与迭代。RLHF 是人类反馈训练范式，并不意味着所有实现都必须用 PPO。

通俗例子

同一问题给出两份回答，人类选择更合适的一份；典型流程可据此训练奖励模型，再优化回答策略，但具体实现不只有一种。

易混淆点

RLHF 是一类方法，不代表每个实现都必须使用同一种奖励模型或 PPO。

内容来源

• Android · AI Agent 知识手册 · 原条目 ai-Q111