知识中等
π0 的 VLM 输出如何注入 Flow Matching 动作模块?
动作专家从高斯噪声动作块出发,每步依据 VLM 提供的上下文 KV 预测速度场,沿 ODE 积分若干步得到干净动作块。
标准答案
Flow matching 头把一个动作块初始化为高斯噪声,每一步根据当前噪声动作与上下文预测速度场,再沿学到的向量场积分数步,把噪声输运为连续动作分布的样本。VLM 的角色是提供条件:动作专家是与主干共享注意力的双流 Transformer,动作 token 对 VLM 的图像/语言 token 做注意力,从而读取语义与观测信息;训练目标只是回归给定噪声水平下的目标速度。
深入理解
常见追问包括:为什么选 flow matching 而不是 diffusion——目标更简单(向量场回归)、推理步数灵活可调(约 10 步)、比离散自回归更适合高频连续控制;以及与 diffusion policy 的区别(flow matching 学的是确定性输运路径,训练更稳定)。还可以提到动作专家小于主干带来的推理加速:重计算发生在小网络上,VLM 每次重规划只需前向一次。