GRPO（Group Relative Policy Optimization）与 PPO 的区别是什么？

返回 大模型基础 目录

标准回答

GRPO 把同一问题的多个候选放在一起比较，用组内相对奖励指导更新，原方法不需要单独学习一个价值模型。

• 对一个问题采样多个候选，按奖励进行组内比较。
• 使用组内相对奖励构造训练信号，结合策略约束更新。
• 关注奖励是否可验证、组内差异是否足够及采样成本。

通俗例子

同题采样几份解答，有的正确、有的错误，就从这组差异得到相对好坏；奖励设计和采样成本仍然存在。

易混淆点

没有独立 critic 不等于没有奖励设计，也不意味着强化学习不需要高质量任务数据。

参考资料

• DeepSeekMath · GRPO

内容来源

• Android · AI Agent 知识手册 · 原条目 ai-Q116