知识困难
ReCAP 与 SFT + GRPO 有什么区别?(数据使用、value/reward 建模和策略更新)
GRPO 用组内相对奖励做 on-policy 策略梯度,需要可验证奖励与大规模并行采样;ReCAP 用离线回放上的 value 自举 + 优势条件化监督,不需要在线采样与成组对比。
标准答案
数据使用:GRPO 对同一任务采样一组 rollout 并组内归一化打分;ReCAP 使用历史回放(含失败与纠正),不要求同任务成组。value/reward 建模:GRPO 依赖可验证奖励的相对比较,不学 value 网络;ReCAP 用时间一致性在离线数据上拟合 value 并导出优势标签。策略更新:GRPO 是 on-policy 策略梯度(clipped 目标加 KL 约束);ReCAP 把策略更新写成以优势为条件的行为克隆,近似离线 RL。适用面:GRPO 适合可验证、可大规模并行的场景;ReCAP 适合真机、奖励稀疏、采样昂贵的机器人后训练。
深入理解
共同点是两者都用「相对优势」替代绝对奖励;本质差异是 on-policy 采样对比离线自举。面试中把两条链路各自的数据流画清楚、再点出对方不可行的条件(真机 PPO 类方法贵在采样,GRPO 类方法难在奖励可验证),就是完整答案。