搜索面试经历、知识题和 Coding 题。
至少输入两个字符。结果覆盖知识库、面试、Coding、公司和主题。
为具身智能面试中反复出现的概念提供标准答案。
当前主题：embodied-ai
共 71 个问题
一次预测一小段未来动作，执行后再重新观测和规划。
GRPO 使用同一 prompt 的采样组平均奖励作为优势基线，因此不需要额外的 critic 网络。
PPO 使用学习到的 critic 评估动作，GRPO 则使用采样组的平均奖励作为基线。
SAC 是 off-policy 值方法：pathwise 梯度最大化 Q 加熵、replay 复用数据，梯度对当前参数可导故无需概率比；PPO 是 on-policy 策略梯度：在旧策略数据上多步更新新策略，必须用 ratio+clip 校正两者的差异。
三维空间中的特殊欧氏群，表示刚体的旋转和平移。
target 网络把回归目标在一段时间内固定，切断自举误差的正反馈；若每步同步，目标随最新参数立即移动，训练在追自己的影子，噪声被放大成震荡甚至发散。
DQN 用 Q 网络回归一步 TD 目标（target 网络给值、经验回放打散相关性）；max 算子导致系统性过估计，Double DQN 解耦「选动作」（online 网络）与「估价值」（target 网络）来消除它。
双 critic 独立训练、bootstrap 时取 min，把 max 操作放大的乐观偏差换成不自我放大的保守偏差；两个 critic 都回归同一个软目标，actor 沿较小的 Q 提升。
把动作写成 a = tanh(μ_θ + σ_θ⊙ε)、ε~N(0,I)，随机性移到与参数无关的噪声上，梯度经 μ、σ 反传穿过采样；不用重参数化只能用 score function（REINFORCE 式）估计，方差大得多。
根据当前状态和候选动作预测未来观测的学习型动力学模型。
SAC 最大化期望回报加熵 bonus：J = E[Σ γ^t (r_t + αH(π(·|s_t)))]；critic 回归含下一状态软值的 TD 目标，actor 最小化 α log π − min_j Q_j（Q 项取负、熵的对数项取正）。
DR 把真实世界变成训练分布内的一次采样：随机化视觉与物理参数迫使策略放弃仿真特有线索、学鲁棒特征；范围以真机辨识值为中心覆盖其不确定度，过窄盖不住差距、过宽任务不可学。
开环评测只测单步拟合质量，看不到策略自己制造的分布偏移与误差累积；闭环评测让策略持续控制环境直到成败，测的是「错了能不能纠正」的稳定成功率，才接近真实表现。
闭环 rollout 是环境与策略的持续交互循环：观测 → 策略推理动作块 → 环境推进 → 重观测；外围再包数据采集与训练更新，工程关键是时序对齐、可复现重置与异步并行。
同时接收图像和语言指令，并输出机器人动作的模型。
规则优化的是设计者写下的局部逻辑，RL 直接优化任务奖励：能找到人类没枚举的权衡解、对长尾状态更鲁棒、并有跨时序的信用分配；收益必须靠同环境同基线的闭环统计对比与消融来验证。
GAE 用 TD 残差的指数加权平均估计 advantage，λ 在蒙特卡洛（低偏差高方差）与一步 TD（高偏差低方差）之间插值；合适的 λ 显著降梯度方差、稳定训练。
自回归轨迹的 log-prob 是各 token 条件对数概率之和，每个 token 都是一个策略梯度「动作」；新旧策略差异用 token 级重要性比率校正，PPO/GRPO 的 clip 就作用在这些比率上。
ratio 逐 token 为 π_θ(a_t)/π_θold(a_t)；clip 把超界一侧的梯度置零——只在「把好动作推得过高、坏动作压得过低」的方向上切断梯度，回调方向梯度保留，从而约束单步更新幅度。
任务定义、遥操作采集、同步校准、清洗标注、整理以及训练期混合。