知识困难
若既要利用预训练 VLM,又要对齐连续动作,除了梯度隔断外还有哪些可行的设计?
可选:冻结主干只训 adapter/动作头、LoRA 参数高效微调、两阶段离散预训练后接连续专家、完全离散自回归输出、并行读出头等,各自在迁移与控制精度间取舍。
标准答案
常见方案:1)冻结 VLM,仅训练 adapter 或动作头,迁移最好但控制上限受主干表示约束;2)LoRA 等参数高效微调,折中保护预训练知识;3)π0.5 式两阶段——先用离散动作 token 与网络数据共同预训练,再接入 flow matching 专家微调;4)π-FAST 式完全离散化,让 VLM 直接自回归生成动作 token;5)在主干之上加并行读出头直接回归动作。
深入理解
回答框架是迁移能力与控制精度的权衡:梯度全回传最灵活但易灾难性遗忘、训练昂贵;离散化迁移最好但受 token 化精度与序列长度限制;冻结方案省算力却牺牲适配。面试官通常追问各方案失败模式——遗忘、量化误差、推理延迟——以及这些失败模式如何对应 π 系列不同版本的选择。