搜索面试经历、知识题和 Coding 题。
至少输入两个字符。结果覆盖知识库、面试、Coding、公司和主题。
为具身智能面试中反复出现的概念提供标准答案。
当前主题：rl
共 38 个问题
GRPO 使用同一 prompt 的采样组平均奖励作为优势基线，因此不需要额外的 critic 网络。
PPO 使用学习到的 critic 评估动作，GRPO 则使用采样组的平均奖励作为基线。
SAC 是 off-policy 值方法：pathwise 梯度最大化 Q 加熵、replay 复用数据，梯度对当前参数可导故无需概率比；PPO 是 on-policy 策略梯度：在旧策略数据上多步更新新策略，必须用 ratio+clip 校正两者的差异。
target 网络把回归目标在一段时间内固定，切断自举误差的正反馈；若每步同步，目标随最新参数立即移动，训练在追自己的影子，噪声被放大成震荡甚至发散。
DQN 用 Q 网络回归一步 TD 目标（target 网络给值、经验回放打散相关性）；max 算子导致系统性过估计，Double DQN 解耦「选动作」（online 网络）与「估价值」（target 网络）来消除它。
双 critic 独立训练、bootstrap 时取 min，把 max 操作放大的乐观偏差换成不自我放大的保守偏差；两个 critic 都回归同一个软目标，actor 沿较小的 Q 提升。
把动作写成 a = tanh(μ_θ + σ_θ⊙ε)、ε~N(0,I)，随机性移到与参数无关的噪声上，梯度经 μ、σ 反传穿过采样；不用重参数化只能用 score function（REINFORCE 式）估计，方差大得多。
SAC 最大化期望回报加熵 bonus：J = E[Σ γ^t (r_t + αH(π(·|s_t)))]；critic 回归含下一状态软值的 TD 目标，actor 最小化 α log π − min_j Q_j（Q 项取负、熵的对数项取正）。
DR 把真实世界变成训练分布内的一次采样：随机化视觉与物理参数迫使策略放弃仿真特有线索、学鲁棒特征；范围以真机辨识值为中心覆盖其不确定度，过窄盖不住差距、过宽任务不可学。
开环评测只测单步拟合质量，看不到策略自己制造的分布偏移与误差累积；闭环评测让策略持续控制环境直到成败，测的是「错了能不能纠正」的稳定成功率，才接近真实表现。
闭环 rollout 是环境与策略的持续交互循环：观测 → 策略推理动作块 → 环境推进 → 重观测；外围再包数据采集与训练更新，工程关键是时序对齐、可复现重置与异步并行。
规则优化的是设计者写下的局部逻辑，RL 直接优化任务奖励：能找到人类没枚举的权衡解、对长尾状态更鲁棒、并有跨时序的信用分配；收益必须靠同环境同基线的闭环统计对比与消融来验证。
GAE 用 TD 残差的指数加权平均估计 advantage，λ 在蒙特卡洛（低偏差高方差）与一步 TD（高偏差低方差）之间插值；合适的 λ 显著降梯度方差、稳定训练。
自回归轨迹的 log-prob 是各 token 条件对数概率之和，每个 token 都是一个策略梯度「动作」；新旧策略差异用 token 级重要性比率校正，PPO/GRPO 的 clip 就作用在这些比率上。
ratio 逐 token 为 π_θ(a_t)/π_θold(a_t)；clip 把超界一侧的梯度置零——只在「把好动作推得过高、坏动作压得过低」的方向上切断梯度，回调方向梯度保留，从而约束单步更新幅度。
组内 reward 全相同时归一化优势为零、该组不产生策略梯度；频繁出现说明奖励分辨率不足或任务难度与策略能力错配，要从奖励粒度、组大小与数据课程排查。
任意不基于位势差的塑形都可能改变最优策略；只有 F = γΦ(s′) − Φ(s) 形式的塑形对任意 Φ 保证最优策略不变，且要求终止状态 Φ 置零、折扣因子与原任务一致。
成功判定要可复现、可抗黑客：优先用几何/物理判据（位姿误差、接触、力）而非模糊外观，多条件组合 + 人工抽检校准，确认成功才发终止奖励。
回报从后向前折扣累积，advantage 用 GAE 从 TD 残差平滑；末端碰撞靠 value 传播自动拉低全程优势，但前提是碰撞惩罚显著且终止不被 bootstrap，否则正的小过程分会在均值上掩盖失败。
识别靠统计回报与轨迹长度的相关性；处理按任务语义选折扣因子、每步时间惩罚或效率归一化计分，注意 γ 过小会引入短视偏置。