知识困难
GRPO中,同组样本的reward全部相同时,组内相对advantage会怎样?如果这种情况频繁出现,会如何影响学习,应怎样排查和处理?
组内 reward 全相同时归一化优势为零、该组不产生策略梯度;频繁出现说明奖励分辨率不足或任务难度与策略能力错配,要从奖励粒度、组大小与数据课程排查。
标准答案
归一化在组内全相同时分子分母同时为零,实现约定(除以带 ε 的 std 或显式判断)输出全零优势——该组对策略更新零贡献,因为没有相对好坏信息(policy gradient 对奖励的平移不变性使然)。频繁出现的排查顺序:1)奖励分辨率——可验证奖励是否只有 0/1 两档、成功后无质量差异,可加分级质量分或部分奖励;2)难度错配——组内全对或全错,说明任务对当前策略太易或太难,应按成功率筛选训练集做课程,保留中间难度;3)组大小——G 太小时全同概率高,增大组或引入 DAPO 式 dynamic sampling(过滤全零组后重采);4)实现 bug——std 的 ε 过大把微小差异也归零。应把「零优势组比例」作为训练健康度核心监控指标,其持续上升通常意味着该换数据了。
深入理解
加分点:把零优势组与基线直觉联系起来——组内没有差异就没有学习信号,这与「优势对奖励平移不变」一致;提到 DAPO 的 dynamic sampling 或按 pass rate 动态调度任务难度是前沿加分;以及警惕用「加稠密小奖励」救零组的副作用——会破坏可验证奖励的可信性。