搜索面试经历、知识题和 Coding 题。
至少输入两个字符。结果覆盖知识库、面试、Coding、公司和主题。
为具身智能面试中反复出现的概念提供标准答案。
共 79 个问题
视觉域(裁剪/颜色/遮挡)、域随机化(光照纹理相机)、视角与时间增强、动作扰动等;对视觉泛化提升明显,但必须避免破坏动作语义。
UMI 用手持夹爪 + GoPro + SLAM 恢复轨迹,不依赖机器人就能在真实场景大规模采集操作示范,再迁移到真机策略。
Hugging Face 机器人社区的标准化数据集格式:Parquet 表 + 视频 episode、统一观测/动作空间元数据,可流式加载与跨本体复用。
DAgger 迭代地用当前策略滚动、让专家在策略访问的状态上标注,聚合数据重训,解决行为克隆的分布偏移(covariate shift)。
ACT 用 CVAE 从示范中采样风格隐变量、Transformer 解码器一次输出一整段动作块,配合时间集成执行,缓解模仿学习的多模态与累积误差问题。
自动基准(知识、推理、代码)、困惑度、成对胜率与 LLM-as-judge、人类偏好竞技场,配合安全评测与数据污染检查。
SFT 打底,RLHF 用奖励模型 + PPO,DPO 直接从偏好对优化省掉奖励模型,GRPO 用组相对优势替代 critic;各有成本与稳定性取舍。
KV Cache 避免重复计算,FlashAttention 做 IO 感知的精确注意力,PagedAttention 分页管理 KV;再叠加量化、连续 batching、投机解码。
训练侧靠混合精度、梯度检查点、ZeRO 分片、梯度累积和 8-bit 优化器;推理侧靠 KV Cache 量化/分页、权重量化和小头部署。
学习一个速度场把简单分布沿(近似直线的)路径输运到数据分布;训练只是向量场回归,扩散可视为其框架下的特例。
数据并行复制模型只切 batch,张量并行切开单个算子,流水并行按层分段,ZeRO/FSDP 对参数、梯度、优化器状态分片。
冻结原权重,为部分矩阵学习低秩增量 ΔW = BA;参数与优化器显存大减、可合并可插拔,代价是表达上限略低。
BN 沿 batch 维统计每个特征的均值方差,LN 对单样本的特征维归一化,RMSNorm 在 LN 基础上减掉均值中心化只保留 RMS 缩放。
MHA 每个 query 头有独立 K/V 头,质量最好但 KV Cache 最大;GQA 让一组 query 头共享一个 K/V 头,在质量与显存/带宽之间折中。
除以 √dk 是为了控制点积的方差:dk 维点积的方差随维度线性增长,不缩放会让 softmax 饱和、梯度消失。
π 系列走「VLM + 小动作专家 + flow matching 连续控制」并持续迭代后训练;RT 系列(RT-1/RT-2)与 OpenVLA 把动作离散成 token 自回归输出,侧重大规模示范数据与开源生态。
开放题:可从世界模型与策略深度耦合、在线 RL 闭环自动化、跨本体统一动作接口、长程记忆与移动操作、安全可控生成等角度给出「短板 → 杠杆」的推理链。
π0 确立 VLM+flow expert 架构解决高频灵巧控制 → π-FAST 用离散 token 加速训练 → π0.5 靠异构 co-training 与子任务规划解决开放世界泛化 → π*0.6 用 RECAP 从经验中后训练提可靠性 → π0.7 以可引导条件与世界模型子目标冲组合泛化,RLT 补上高效在线 RL。
截断高频系数意味着丢失快速修正与接触瞬态;中低控制频率、动作平滑、以轨迹跟踪为主的任务适合 FAST;高频力控、接触密集、需要瞬时反应的任务不适合。
FAST 对动作序列沿时间维做 DCT,把能量集中到少数低频系数;量化后用 BPE 把常共现的系数量化为单 token,序列比逐维分桶短一个量级。