知识中等
π0.5 的网络架构、输入与输出、训练损失和关键设计分别是什么?
架构延续 π0 的 VLM + 动作专家;推理先预测高层子任务文本,再以子任务为条件生成动作;训练用异构 co-training,动作预训练混入 FAST 离散 token,损失含子任务语言建模与动作项。
标准答案
π0.5 沿用 π0 的 VLM + flow matching 专家架构,但推理变成两级:先由模型生成下一阶段子任务的自然语言 token,再以该子任务为条件生成连续动作。训练采用 co-training:机器人演示的动作损失、高层子任务预测的语言建模损失、网络图文数据的 VQA 损失联合优化;低层动作在预训练阶段以 FAST 离散 token 表示,最终微调回到 flow matching 专家。
深入理解
关键设计的动机值得展开:子任务预测给模型显式的高层规划接口,把长程任务分解成可监督的中间目标;异构 co-training 是把开放世界泛化「买」进来的主要手段。可以对比 π0:架构相似,改变的主要是数据配方与训练目标,这也引出「π0.5 是数据配方的胜利」这一常见总结。