搜索面试经历、知识题和 Coding 题。
至少输入两个字符。结果覆盖知识库、面试、Coding、公司和主题。
为具身智能面试中反复出现的概念提供标准答案。
当前主题：reward-design
共 7 个问题
从稀疏任务成功奖励到势函数塑形、课程奖励、学习型奖励（分类器/视觉 reward model/时间一致性自举），核心权衡是塑形收益与奖励黑客风险。
看行为诊断奖励：把异常行为映射到奖励项、用分解曲线与消融实验定位冲突，再以固定种子和固定评测集做单变量对照验证，防止按下葫芦浮起瓢。
稀疏奖励使探索命中率随任务长度指数衰减、长程信用分配方差大；塑形用势函数、课程与学习型奖励补密集信号，验证标准是加速收敛且不损害最终成功率。
识别靠统计回报与轨迹长度的相关性；处理按任务语义选折扣因子、每步时间惩罚或效率归一化计分，注意 γ 过小会引入短视偏置。
回报从后向前折扣累积，advantage 用 GAE 从 TD 残差平滑；末端碰撞靠 value 传播自动拉低全程优势，但前提是碰撞惩罚显著且终止不被 bootstrap，否则正的小过程分会在均值上掩盖失败。
成功判定要可复现、可抗黑客：优先用几何/物理判据（位姿误差、接触、力）而非模糊外观，多条件组合 + 人工抽检校准，确认成功才发终止奖励。
任意不基于位势差的塑形都可能改变最优策略；只有 F = γΦ(s′) − Φ(s) 形式的塑形对任意 Φ 保证最优策略不变，且要求终止状态 Φ 置零、折扣因子与原任务一致。