阅读进度

GRPO、DAPO 先理解到什么程度？

返回大模型基础目录

标准回答

GRPO 常对同一问题采样一组回答，利用组内奖励比较来估计相对优势；DAPO 是针对大规模推理强化学习提出的一组训练改进。先理解奖励与优化对象即可。

关键机制

GRPO 的核心直觉：同一问题里得分较好的回答被相对鼓励，较差的被相对抑制，常见实现不需要单独的价值模型。
DAPO 讨论了采样、裁剪、损失归一化和超长输出等训练问题；具体机制应回到论文，不能只把名称理解成“更强 GRPO”。
奖励可以来自可验证结果等信号，但奖励不完备时，模型可能钻规则空子。训练成本、评估与安全边界仍需设计。

通俗例子

一道能自动判分的数学题，生成多个候选答案并按正确性给奖励，属于这类训练场景；设备助手调用一个现成模型 API，并不因此使用了 GRPO。

易混淆点

这些算法不等于 Agent 的“多次尝试”；前者更新模型策略参数，后者通常只是推理阶段的运行流程。

参考资料

内容来源

Android 技术札记 · 原条目 grpo-dapo