知识困难
π*0.6 要解决什么问题?为什么大规模 VLA 不易直接采用 PPO?后训练如何转化为近似监督学习?
π*0.6 要让 VLA 从自身经验(含失败)中变得可靠;真机 PPO 受采样成本、稀疏奖励与 on-policy 约束限制;RECAP 用离线 value 学习 + 优势条件化训练把 RL 转化为条件化监督学习。
标准答案
π*0.6 的目标是后训练可靠性:让机器人从自主收集的正负经验中持续提高成功率。不直接用 PPO 的原因:真机采样昂贵且慢,on-policy 要求不断用最新策略重采数据;任务奖励稀疏导致长程信用分配方差大;探索性更新在物理硬件上有安全风险。π*0.6 的 RECAP 把 RL 重写为监督问题:在离线经验回放(含失败与人工纠正)上用时间一致性拟合 value 函数,把量化的优势标签作为条件输入策略联合训练;部署时以高优势条件自举,策略学会偏好高优势动作。
深入理解
追问点:value 回归为什么可行——回放数据分布固定,时序一致性自举等价于拟合离线回报;与 Decision Transformer 式条件化的亲缘关系;以及为什么仍需要人工纠正数据兜底稀疏奖励。能对比「在线策略梯度」与「离线优势加权」两条技术路线的成本结构是加分项。