π0 在 VLM 主干、视觉编码器以及图像与语言 token 融合方面有哪些特殊设计？注意力如何交互？

π0 直接以 PaliGemma 3B 为骨干：SigLIP 把多相机图像编码成视觉 patch token，语言指令 tokenize 后与视觉 token 拼接为同一序列，在 Gemma 主干中做全注意力融合，语言与图像之间是标准的双向注意力。机器人特有信号（本体状态、噪声动作）被隔离在 VLM 上下文之外，只通过额外的输入投影进入动作专家，以最大限度保留互联网图文预训练知识。

回答的加分点是知识隔离（knowledge insulation）：动作与状态的分布很窄、与语言分布差异大，若直接进入 VLM 上下文会把主干带偏。π0 的做法是 VLM 只处理图像和语言，动作专家（约 300M 的小 Transformer）与主干联合训练，动作 token attend 到 VLM 的表示以获取语义条件，而 VLM token 无需 attend 回动作 token。对比方案包括 cross-attention 注入、Q-Former 式压缩读取等，可以顺势讨论各自的迁移性与实现成本。