知识困难

与 PPO 相比，RLT 对 value 的监督有什么不同？

PPO 的 critic 在完整观测上逐步 TD/GAE 自举，梯度影响整个策略网络；RLT 的 value 头只读压缩的 RL token，按 chunk 级自举、跨度更短，且 VLA 主干冻结。

标准答案

标准 PPO：value 网络吃完整观测，逐步 TD 误差加 GAE 自举，value 与 policy 联合更新、梯度可传遍整个网络。RLT：VLA 冻结，value 头只读 RL token——即 VLA 表示的压缩嵌入；监督目标仍是折扣回报，但自举发生在 chunk 边界上，时间跨度更短、方差更小；value 的容量集中在小型 MLP 头上，避免在大 VLA 上学 value 的不稳定性。

深入理解

延伸点：chunk 级短跨度自举在高频、稀疏奖励的精确操作任务上更稳；MLP critic 的局限是难以表达多模态动作分布下的价值（这也是 RLT 定位为「在 VLA 先验附近精修」的原因）。能对比「value 学在哪、怎么自举、更新谁」三个维度即可拿满。