搜索面试经历、知识题和 Coding 题。
至少输入两个字符。结果覆盖知识库、面试、Coding、公司和主题。
为具身智能面试中反复出现的概念提供标准答案。
当前主题：ppo
共 10 个问题
GRPO 使用同一 prompt 的采样组平均奖励作为优势基线，因此不需要额外的 critic 网络。
PPO 使用学习到的 critic 评估动作，GRPO 则使用采样组的平均奖励作为基线。
SAC 是 off-policy 值方法：pathwise 梯度最大化 Q 加熵、replay 复用数据，梯度对当前参数可导故无需概率比；PPO 是 on-policy 策略梯度：在旧策略数据上多步更新新策略，必须用 ratio+clip 校正两者的差异。
GAE 用 TD 残差的指数加权平均估计 advantage，λ 在蒙特卡洛（低偏差高方差）与一步 TD（高偏差低方差）之间插值；合适的 λ 显著降梯度方差、稳定训练。
自回归轨迹的 log-prob 是各 token 条件对数概率之和，每个 token 都是一个策略梯度「动作」；新旧策略差异用 token 级重要性比率校正，PPO/GRPO 的 clip 就作用在这些比率上。
ratio 逐 token 为 π_θ(a_t)/π_θold(a_t)；clip 把超界一侧的梯度置零——只在「把好动作推得过高、坏动作压得过低」的方向上切断梯度，回调方向梯度保留，从而约束单步更新幅度。
回报从后向前折扣累积，advantage 用 GAE 从 TD 残差平滑；末端碰撞靠 value 传播自动拉低全程优势，但前提是碰撞惩罚显著且终止不被 bootstrap，否则正的小过程分会在均值上掩盖失败。
SFT 打底，RLHF 用奖励模型 + PPO，DPO 直接从偏好对优化省掉奖励模型，GRPO 用组相对优势替代 critic；各有成本与稳定性取舍。
PPO 的 critic 在完整观测上逐步 TD/GAE 自举，梯度影响整个策略网络；RLT 的 value 头只读压缩的 RL token，按 chunk 级自举、跨度更短，且 VLA 主干冻结。
π*0.6 要让 VLA 从自身经验（含失败）中变得可靠；真机 PPO 受采样成本、稀疏奖励与 on-policy 约束限制；RECAP 用离线 value 学习 + 优势条件化训练把 RL 转化为条件化监督学习。