你怎么理解 VLA?
VLA 就是 Vision-Language-Action。Vision 识别杯子、冰块、柠檬片和顾客表情;Language 理解“少冰”“微糖”“不要香菜”;Action 控制机械臂加料、摇匀和封口。
蜜雪冰城
最近投了蜜雪冰城的 VLA 算法工程师,没想到第二天就约了技术面。 部门主要做具身智能饮品机器人,让机械臂根据自然语言指令,独立完成取杯、加冰、加糖、摇匀、封口和递交饮品。整场约 60 分钟,没怎么问八股,主要考察 VLA、强化学习、轨迹规划、多模态感知和奶茶制作流程。 问:你怎么理解 VLA? 答:VLA 就是 Vision-Language-Action。Vision 识别杯子、冰块、柠檬片和顾客表情;Language 理解“少冰”“微糖”“不要香菜”;Action 控制机械臂加料、摇匀和封口。 问:用户说“少冰”,具体放几块? 答:要结合杯型、室温、饮品种类和历史偏好。比如正常冰 12 块,少冰 6 块,微冰 3 块。 追问:冰块大小不一样怎么办? 答:用视觉模型估计冰块体积,再闭环控制总冰量。 问:如何避免把柠檬片当成冰块? 答:融合 RGB、深度和触觉。冰块透明、反光、温度低;柠檬片有黄色纹理和柔性形变。视觉置信度不足,就让机械臂轻轻夹一下,用触觉二次确认。 问:机械臂倒糖浆时手抖怎么办? 答:检查控制频率、轨迹平滑性和电机参数,再用低通滤波、轨迹插值、阻抗控制和视觉闭环纠偏。 追问:如果是面试紧张导致手抖呢? 答:建议机械臂先做一次深呼吸。 问:强化学习的 Reward 怎么设计? 答:成功取杯 +1,正确加冰 +2,正确加糖 +2,成功封口 +3,递给顾客 +5,饮品洒出 -10,吸管插进顾客鼻孔 -100。 同时要避免 Reward Hacking,比如模型为了“不洒”,选择永远不递给顾客。 问:模型出现幻觉怎么办? 答:如果顾客点的是柠檬水,模型却说成珍珠奶茶,可以通过订单检索、结构化指令解析和动作前校验降低幻觉。执行前再确认:“您点的是少冰柠檬水,对吗?” 问:当前具身智能最大的瓶颈是什么? 答:不是参数量,也不是训练数据,而是高峰期顾客一直催单。模型刚完成长链路推理,旁边就有人问:“我的奶茶好了吗?” 最后我问:“岗位会提供训练数据吗?” 面试官说:“每天免费喝两杯,数据需要自己采集。” 目前已经进入人才库,HR 说后续有合适岗位会再联系。我感觉应该稳了,已经开始研究珍珠的 Sim2Real 迁移问题了。
第 1 轮
你怎么理解 VLA?
VLA 就是 Vision-Language-Action。Vision 识别杯子、冰块、柠檬片和顾客表情;Language 理解“少冰”“微糖”“不要香菜”;Action 控制机械臂加料、摇匀和封口。
用户说“少冰”,具体放几块?
要结合杯型、室温、饮品种类和历史偏好。比如正常冰 12 块,少冰 6 块,微冰 3 块。 追
冰块大小不一样怎么办?
用视觉模型估计冰块体积,再闭环控制总冰量。
根据公司、岗位、季节和元数据确定性匹配。
如何避免把柠檬片当成冰块?
融合 RGB、深度和触觉。冰块透明、反光、温度低;柠檬片有黄色纹理和柔性形变。视觉置信度不足,就让机械臂轻轻夹一下,用触觉二次确认。
机械臂倒糖浆时手抖怎么办?
检查控制频率、轨迹平滑性和电机参数,再用低通滤波、轨迹插值、阻抗控制和视觉闭环纠偏。 追
如果是面试紧张导致手抖呢?
建议机械臂先做一次深呼吸。
强化学习的 Reward 怎么设计?
成功取杯 +1,正确加冰 +2,正确加糖 +2,成功封口 +3,递给顾客 +5,饮品洒出 -10,吸管插进顾客鼻孔 -100。 同时要避免 Reward Hacking,比如模型为了“不洒”,选择永远不递给顾客。
模型出现幻觉怎么办?
如果顾客点的是柠檬水,模型却说成珍珠奶茶,可以通过订单检索、结构化指令解析和动作前校验降低幻觉。执行前再确认:“您点的是少冰柠檬水,对吗?”
当前具身智能最大的瓶颈是什么?
不是参数量,也不是训练数据,而是高峰期顾客一直催单。模型刚完成长链路推理,旁边就有人