知识中等
π0 与 π0.5 如何处理 VLA 中的机器人本体状态?这种设计差异会带来哪些影响?
两者都把本体状态经输入投影只喂给动作专家而非 VLM,保持主干本体无关;π0.5 更强调跨本体共训,状态的作用被进一步弱化,更多依赖视觉闭环。
标准答案
两个模型都遵循知识隔离:关节角度等本体状态不进入 VLM 的语言/图像 token 序列,只通过独立的输入投影提供给动作专家。这使 VLM 的表征不被窄分布的本体数据污染,跨本体迁移更稳。π0.5 进一步强调跨机器人共训与视觉闭环,弱化了对精确本体读数的依赖;需要本体反馈的接触密集任务则保留动作专家这条通道。
深入理解
影响可以双向讨论:若把本体状态放进 VLM,单本体精度可能提升,但破坏迁移且语言 token 与连续状态的分布冲突;隔离的代价是主干缺少本体感知,接触密集、盲区操作场景必须依赖动作专家。还可以提到训练技巧如 state dropout(随机丢弃状态输入迫使模型学会无状态兜底),以及跨本体数据集对本体观测空间不一致的处理。