知识中等
什么是 Vision-Language-Action 模型?
同时接收图像和语言指令,并输出机器人动作的模型。
标准答案
VLA 在 Vision-Language Model 的基础上增加 action head。一个或多个相机的观测被编码成视觉 token,语言指令经过 token 化后与视觉信息由预训练 VLM backbone 融合。独立的 action expert 再把融合表示映射为连续或离散动作,并使用机器人示范数据训练。它的优势是能够迁移互联网图像文本预训练得到的语义知识,局限则包括闭环延迟、深度和力觉不足以及语义理解到精细接触操作之间的差距。
深入理解
VLA 的迁移能力来自大规模图像文本预训练,例如 backbone 可以先学会红色杯子在左边这类语义,再用较少的机器人数据学习动作。面试中可以继续讨论连续动作与离散动作、单相机与多相机、本体感知、action chunking,以及不同机器人共享 backbone 并使用本体专属 action head 的 cross-embodiment training。还应主动说明闭环延迟、RGB 缺少深度和力觉,以及语义理解与精细操作之间的差距。