知识困难
π0.5 的开放世界泛化由哪些数据、训练目标和架构设计共同支撑?这些因素分别如何起作用?
数据层的异构 co-training(网络图文、多机器人、言语指令)、训练目标层的高层子任务预测、训练策略层的离散 token 预训练 + 连续专家微调,三层叠加支撑开放世界泛化。
标准答案
三个层面:数据上,网络图文/视频数据与多机器人演示共同训练,把语义常识注入主干,这是全新家庭泛化的主因;训练目标上,高层子任务预测把长程任务变成「先想后做」,缓解分布外任务的组合爆炸;训练策略上,离散 token 预训练与 flow matching 专家微调的两阶段设计兼顾训练效率与推理质量。推理时模型先分解任务(如「打开水槽下的柜门」)再执行,使新环境中行为仍有结构。
深入理解
面试官常追问「哪一项最关键」:论文证据指向非机器人数据的 co-training 是主要驱动力,子任务预测与两阶段训练是放大器。还应主动给出泛化边界:语义与流程泛化强,但操作精度在分布外环境仍会下降,需要任务内数据闭环兜底。