知识中等

RLT 的训练与测试流程是什么？

在冻结 VLA 上接一个编码-解码 Transformer 抽出压缩的 RL token，再在小 actor-critic 头上做 PPO 风格在线 RL；测试时 RL 头在 token 空间输出对参考动作的修正。

标准答案

训练：冻结预训练 VLA；插入一个 encoder-decoder Transformer，把 VLA 内部表示压缩为少量 RL token；在 RL token 上接轻量 actor-critic（MLP）头，以 VLA 参考动作为先验、用 PPO 风格的在线更新训练，动作以 chunk 为单位对齐 VLA 原生接口，从而缩短 TD 自举跨度。测试：VLA 前向得到 RL token，RL 头基于它输出对参考动作的修正并执行，新经验继续回流更新 RL 头。

深入理解

设计动机：对大 VLA 做全参数在线 RL 又贵又危险，RLT 把可学习的部分限制在小头上——冻结的 VLA 提供感知与动作先验，RL 只做局部精修。论文报告在螺钉、扎带、网线、充电器插入等精确操作上用几小时数据同时提升成功率与执行速度（至多 3 倍），可作为具体论据引用。