搜索面试经历、知识题和 Coding 题。
至少输入两个字符。结果覆盖知识库、面试、Coding、公司和主题。
为具身智能面试中反复出现的概念提供标准答案。
当前主题：grpo
共 6 个问题
PPO 使用学习到的 critic 评估动作，GRPO 则使用采样组的平均奖励作为基线。
GRPO 使用同一 prompt 的采样组平均奖励作为优势基线，因此不需要额外的 critic 网络。
GRPO 用组内相对奖励做 on-policy 策略梯度，需要可验证奖励与大规模并行采样；ReCAP 用离线回放上的 value 自举 + 优势条件化监督，不需要在线采样与成组对比。
SFT 打底，RLHF 用奖励模型 + PPO，DPO 直接从偏好对优化省掉奖励模型，GRPO 用组相对优势替代 critic；各有成本与稳定性取舍。
组内 reward 全相同时归一化优势为零、该组不产生策略梯度；频繁出现说明奖励分辨率不足或任务难度与策略能力错配，要从奖励粒度、组大小与数据课程排查。
ratio 逐 token 为 π_θ(a_t)/π_θold(a_t)；clip 把超界一侧的梯度置零——只在「把好动作推得过高、坏动作压得过低」的方向上切断梯度，回调方向梯度保留，从而约束单步更新幅度。