知识中等
π0.5 中用于高层子任务或机器人规划的模块负责预测什么信息?它如何为低层连续动作生成提供条件?
该模块预测下一阶段子任务的自然语言 token;推理时先采样子任务,再把它与观测拼接作为动作专家的条件,随执行进度滚动更新。
标准答案
高层模块就是共享 VLM 的语言读出:给定图像、指令与历史,预测「下一步做什么」的子任务文本 token。推理时先推断子任务,再把子任务 token 与观测一起作为条件驱动动作专家生成连续动作块;随着执行推进,子任务被重新预测和更新,形成层级式闭环。训练上由带子任务标注的异构数据以语言建模损失监督,与动作损失共同优化。
深入理解
设计收益:显式中间目标提升可解释性(人可以读出甚至纠正子任务)、使低层条件分布更聚焦、把长程任务分解为短程问题。追问点包括:子任务粒度如何确定、错误子任务如何恢复(重新预测的鲁棒性)、以及与 RT-2 式「直接把动作当语言输出」的层级化区别。