为什么 GRPO 不需要 critic？

优势只需要一个与当前动作无关的基线：$A(s,a)=Q(s,a)-b(s)$。学习到的 critic V(s) 只是 b(s) 的一种实现。GRPO 对同一个 prompt 采样 G 个输出，并把这组样本的平均奖励作为 b(s)。由于组内样本共享同一个 prompt，这个均值可以作为与动作无关的基线，不需要额外的 value loss 或 GAE。

critic 提供的是期望回报基线，能够解释 prompt 本身有多难；GRPO 的采样组只是用有限个样本估计这个期望，组太小时方差会变大。除以组内标准差可以增强信号，但当所有样本得分接近时标准差会接近零，所以实现通常会 clipping 或跳过退化组。这也是 GRPO 适合数学、代码和经过单元测试的机器人子程序等可验证任务的原因。