搜索面试经历、知识题和 Coding 题。
至少输入两个字符。结果覆盖知识库、面试、Coding、公司和主题。
为具身智能面试中反复出现的概念提供标准答案。
当前主题:vla
共 22 个问题
一次预测一小段未来动作,执行后再重新观测和规划。
同时接收图像和语言指令,并输出机器人动作的模型。
控制频率、端到端延迟、抖动与确定性、内外环分工是核心概念;感知-推理-执行的延迟链直接决定系统的稳定性与反应能力。
ACT 用 CVAE 从示范中采样风格隐变量、Transformer 解码器一次输出一整段动作块,配合时间集成执行,缓解模仿学习的多模态与累积误差问题。
学习一个速度场把简单分布沿(近似直线的)路径输运到数据分布;训练只是向量场回归,扩散可视为其框架下的特例。
冻结原权重,为部分矩阵学习低秩增量 ΔW = BA;参数与优化器显存大减、可合并可插拔,代价是表达上限略低。
π 系列走「VLM + 小动作专家 + flow matching 连续控制」并持续迭代后训练;RT 系列(RT-1/RT-2)与 OpenVLA 把动作离散成 token 自回归输出,侧重大规模示范数据与开源生态。
π0 确立 VLM+flow expert 架构解决高频灵巧控制 → π-FAST 用离散 token 加速训练 → π0.5 靠异构 co-training 与子任务规划解决开放世界泛化 → π*0.6 用 RECAP 从经验中后训练提可靠性 → π0.7 以可引导条件与世界模型子目标冲组合泛化,RLT 补上高效在线 RL。
截断高频系数意味着丢失快速修正与接触瞬态;中低控制频率、动作平滑、以轨迹跟踪为主的任务适合 FAST;高频力控、接触密集、需要瞬时反应的任务不适合。
FAST 对动作序列沿时间维做 DCT,把能量集中到少数低频系数;量化后用 BPE 把常共现的系数量化为单 token,序列比逐维分桶短一个量级。
离散 AR 训练快约 5 倍、可复用语言模型基础设施,但推理逐 token 串行;flow expert 推理并行、贴合连续控制,但训练贵。闭环重规划时 AR 每次都要重新生成整段 token,flow expert 靠外推缓解等待。
π0.7 用可引导的多模态条件(丰富语言指令、目标/子目标图像、任务元数据)+ 原子子任务分解 + 世界模型生成子目标图像,把新任务重组为已见原子能力的组合。
该模块预测下一阶段子任务的自然语言 token;推理时先采样子任务,再把它与观测拼接作为动作专家的条件,随执行进度滚动更新。
数据层的异构 co-training(网络图文、多机器人、言语指令)、训练目标层的高层子任务预测、训练策略层的离散 token 预训练 + 连续专家微调,三层叠加支撑开放世界泛化。
会。动作专家与 VLM 端到端联合训练,动作损失经注意力反传到主干;预训练知识靠海量 co-training 数据与小学习率保护。
π0 主打通用高频低层控制,π0.5 主打开放世界泛化:靠异构 co-training、子任务预测与离散 token 预训练 + 连续专家微调的两阶段训练,把泛化能力显著推高。
架构延续 π0 的 VLM + 动作专家;推理先预测高层子任务文本,再以子任务为条件生成动作;训练用异构 co-training,动作预训练混入 FAST 离散 token,损失含子任务语言建模与动作项。
可选:冻结主干只训 adapter/动作头、LoRA 参数高效微调、两阶段离散预训练后接连续专家、完全离散自回归输出、并行读出头等,各自在迁移与控制精度间取舍。
动作块覆盖未来约 1 秒(H=50、50Hz)的关节级控制量;块内按时间戳顺序执行,执行期间或块尾重新观测并生成下一块,相邻块用外推与平滑衔接。
动作专家从高斯噪声动作块出发,每步依据 VLM 提供的上下文 KV 预测速度场,沿 ODE 积分若干步得到干净动作块。