搜索面试经历、知识题和 Coding 题。
至少输入两个字符。结果覆盖知识库、面试、Coding、公司和主题。
为具身智能面试中反复出现的概念提供标准答案。
当前主题：rl
共 38 个问题
稀疏奖励使探索命中率随任务长度指数衰减、长程信用分配方差大；塑形用势函数、课程与学习型奖励补密集信号，验证标准是加速收敛且不损害最终成功率。
看行为诊断奖励：把异常行为映射到奖励项、用分解曲线与消融实验定位冲突，再以固定种子和固定评测集做单变量对照验证，防止按下葫芦浮起瓢。
On-policy 的梯度只能用当前策略产生的数据、更新后旧数据即失效；off-policy 用 replay buffer 复用任意行为策略的历史数据、靠重要性采样或 Bellman 目标校正，样本效率高但自举更不稳。
IL 要覆盖任务分布的高质量（观测，专家动作）对；RL 需要带奖励/成败信号的交互经验且欢迎失败；配比按阶段定——SFT 打底为主，按成功率瓶颈递增加码 RL 并混入示范防遗忘。
在线 RL 边采边学、数据分布随策略演进；离线 RL 从固定数据集学习、须处理分布外动作的值外推；真机后训练通常离线为主、少量在线微调收尾。
示范覆盖充分、奖励难定义时留在模仿；当成功率被示范质量封顶、存在可靠可验证奖励、且 SFT 已到数据边际收益平台期时引入 RL。
预训练给通用表示，SFT 用示范把行为对齐到任务分布，GRPO 在 SFT 之上用可验证奖励继续突破模仿上限；完整流程是数据准备 → 轨迹采样 → 奖励计算 → 策略更新 → 评测的闭环。
失败轨迹是后训练的免费负样本：离线 value 学习的信用来源、奖励模型与成功检测器的负例、偏好对与优势条件化的低分侧，以及场景挖掘的归因线索。
从稀疏任务成功奖励到势函数塑形、课程奖励、学习型奖励（分类器/视觉 reward model/时间一致性自举），核心权衡是塑形收益与奖励黑客风险。
DAgger 迭代地用当前策略滚动、让专家在策略访问的状态上标注，聚合数据重训，解决行为克隆的分布偏移（covariate shift）。
SFT 打底，RLHF 用奖励模型 + PPO，DPO 直接从偏好对优化省掉奖励模型，GRPO 用组相对优势替代 critic；各有成本与稳定性取舍。
PPO 的 critic 在完整观测上逐步 TD/GAE 自举，梯度影响整个策略网络；RLT 的 value 头只读压缩的 RL token，按 chunk 级自举、跨度更短，且 VLA 主干冻结。
GRPO 用组内相对奖励做 on-policy 策略梯度，需要可验证奖励与大规模并行采样；ReCAP 用离线回放上的 value 自举 + 优势条件化监督，不需要在线采样与成组对比。
部署采集经验（含人工纠正）→ 回放数据上拟合 value/优势 → 优势条件化策略训练 → 以高优势条件部署执行，新经验回流形成闭环。
在冻结 VLA 上接一个编码-解码 Transformer 抽出压缩的 RL token，再在小 actor-critic 头上做 PPO 风格在线 RL；测试时 RL 头在 token 空间输出对参考动作的修正。
不依赖手工密集奖励：以少量人工核验的成败标签为种子，在回放数据上用时间一致性自举 value/reward 信号，为全部无标签经验自动打分。
replay buffer 持久化自主经验供反复离线更新：为 value/优势估计提供固定分布、重标注与再平衡、混合新旧数据防止遗忘，是经验闭环类方法的枢纽。
π*0.6 要让 VLA 从自身经验（含失败）中变得可靠；真机 PPO 受采样成本、稀疏奖励与 on-policy 约束限制；RECAP 用离线 value 学习 + 优势条件化训练把 RL 转化为条件化监督学习。