DeepSeek-R1 的强化学习训练流程是怎样的？

标准回答

按原始 DeepSeek-R1 论文，主要四阶段为：少量高质量长推理样本冷启动 SFT → 面向推理的强化学习 → 拒绝采样筛选推理数据并混入通用数据，再做 SFT → 面向多场景的强化学习对齐。R1-Zero 则探索直接在基座上做强化学习，没有 R1 的冷启动 SFT，两者不能混为同一流程。

看到论文里某个版本不用前置 SFT，就概括成“所有 R1 都完全不用监督数据”，会把不同实验路线混淆。

不能把“R1-Zero 没有前置 SFT”泛化为“R1 完全不需要监督数据”。