知识困难
π0.7 如何提升组合泛化?(额外上下文、原子指令、目标图像与 world model)
π0.7 用可引导的多模态条件(丰富语言指令、目标/子目标图像、任务元数据)+ 原子子任务分解 + 世界模型生成子目标图像,把新任务重组为已见原子能力的组合。
标准答案
π0.7(5B:4B VLM 主干 + 视频历史编码器 + 860M 动作专家)把组合泛化建立在更强的「先想后做」上:训练用丰富多样的语言指令与语言引导数据教会原子技能;推理时把长任务分解成原子子任务序列;轻量世界模型为每个子任务生成子目标图像,作为显式视觉条件引导动作专家。多模态条件化(指令、目标图像、元数据)让同一模型可被引导到不同做法与质量档,从而把未见任务表达为已见原子能力的组合。
深入理解
与 π0.5 的对比是关键:π0.5 的中间产物是文本子任务,π0.7 加入了世界模型生成的子目标图像与可引导性(steerability),组合泛化从「见过类似流程」推进到「重组原子能力」。可以讨论子目标图像的验证作用(执行前先可视化预期)、world model 幻觉的风险,以及 RL 验证训练在精确任务上的角色。