知识困难

PPO 和 GRPO 有什么区别？

PPO 使用学习到的 critic 评估动作，GRPO 则使用采样组的平均奖励作为基线。

RL
PPO
GRPO

标准答案

PPO 用 value network，也就是 critic，估计 advantage，通常写作 $A = G A E (r e w a r d s, V (s))$ 。GRPO 完全移除了 critic：对同一个 prompt 采样 G 个输出，用 reward model 或 verifier 打分，再在组内归一化 $A_{i} = (r_{i} - m e an (r)) / s t d (r)$ 。最后仍然使用带 clipping 的 PPO 风格目标和 KL 项来更新 policy。

深入理解

两者最实际的区别是成本和方差。去掉 critic 可以省下一个接近 policy 大小的模型，包括参数、优化器状态和前向反向计算，这对 7B 级别以上的 VLA 很重要。代价是组相对优势比拟合出的 value function 更嘈杂，所以 GRPO 通常需要较大的采样组，并且更适合正确性明确的可验证奖励。奖励稠密且经过良好塑形，或样本效率最重要时，PPO 仍然可能更合适。