知识库

任意不基于位势差的塑形都可能改变最优策略；只有 F = γΦ(s′) − Φ(s) 形式的塑形对任意 Φ 保证最优策略不变，且要求终止状态 Φ 置零、折扣因子与原任务一致。

• RL
• 奖励设计

成功判定要可复现、可抗黑客：优先用几何/物理判据（位姿误差、接触、力）而非模糊外观，多条件组合 + 人工抽检校准，确认成功才发终止奖励。

• RL
• 奖励设计

回报从后向前折扣累积，advantage 用 GAE 从 TD 残差平滑；末端碰撞靠 value 传播自动拉低全程优势，但前提是碰撞惩罚显著且终止不被 bootstrap，否则正的小过程分会在均值上掩盖失败。

• RL
• PPO
• 奖励设计

通过迭代去噪生成动作轨迹的视觉运动策略。

• 具身智能
• Diffusion Policy
• 机器人学

识别靠统计回报与轨迹长度的相关性；处理按任务语义选折扣因子、每步时间惩罚或效率归一化计分，注意 γ 过小会引入短视偏置。

• RL
• 奖励设计

稀疏奖励使探索命中率随任务长度指数衰减、长程信用分配方差大；塑形用势函数、课程与学习型奖励补密集信号，验证标准是加速收敛且不损害最终成功率。

• RL
• 奖励设计

看行为诊断奖励：把异常行为映射到奖励项、用分解曲线与消融实验定位冲突，再以固定种子和固定评测集做单变量对照验证，防止按下葫芦浮起瓢。

• RL
• 奖励设计

On-policy 的梯度只能用当前策略产生的数据、更新后旧数据即失效；off-policy 用 replay buffer 复用任意行为策略的历史数据、靠重要性采样或 Bellman 目标校正，样本效率高但自举更不稳。

• RL
• SAC

IL 要覆盖任务分布的高质量（观测，专家动作）对；RL 需要带奖励/成败信号的交互经验且欢迎失败；配比按阶段定——SFT 打底为主，按成功率瓶颈递增加码 RL 并混入示范防遗忘。

• RL
• 机器人数据
• 模仿学习

在线 RL 边采边学、数据分布随策略演进；离线 RL 从固定数据集学习、须处理分布外动作的值外推；真机后训练通常离线为主、少量在线微调收尾。

• RL

示范覆盖充分、奖励难定义时留在模仿；当成功率被示范质量封顶、存在可靠可验证奖励、且 SFT 已到数据边际收益平台期时引入 RL。

• RL
• 模仿学习

预训练给通用表示，SFT 用示范把行为对齐到任务分布，GRPO 在 SFT 之上用可验证奖励继续突破模仿上限；完整流程是数据准备 → 轨迹采样 → 奖励计算 → 策略更新 → 评测的闭环。

• RL
• 机器人数据
• 对齐

失败轨迹是后训练的免费负样本：离线 value 学习的信用来源、奖励模型与成功检测器的负例、偏好对与优势条件化的低分侧，以及场景挖掘的归因线索。

• RL
• 机器人数据

仿真操作基准有 LIBERO、Meta-World、RLBench、CALVIN、RoboCasa 等，分别考察持续学习、多任务、长时序语言跟随等能力；RT-1/RT-2 是模型而非基准。

• 评测与基准

部署挑战覆盖算力/延迟、标定漂移与安全兜底；Sim2Real 差距来自物理、视觉与执行器建模，靠域随机化、系统辨识和真机微调弥合。

• 机器人学
• Sim2Real

控制频率、端到端延迟、抖动与确定性、内外环分工是核心概念；感知-推理-执行的延迟链直接决定系统的稳定性与反应能力。

• 机器人学
• Action Chunking

从稀疏任务成功奖励到势函数塑形、课程奖励、学习型奖励（分类器/视觉 reward model/时间一致性自举），核心权衡是塑形收益与奖励黑客风险。

• RL
• 奖励设计