知识困难
如何判断 reward 设计是否合理?当策略出现异常行为或训练效果不佳时,如何定位奖励项冲突,并验证修改是否有效?
看行为诊断奖励:把异常行为映射到奖励项、用分解曲线与消融实验定位冲突,再以固定种子和固定评测集做单变量对照验证,防止按下葫芦浮起瓢。
标准答案
流程化回答:1)症状归因——把策略异常行为(蹭奖励、原地打转、避障过度、提前放弃)映射回可疑奖励项,检查该行为是否真在当前奖励下的最优路径上;2)分解与统计——按时间与奖励项拆解 reward 曲线,看各项占比与相关性,冲突常表现为一项上升时另一项同步下降、或代理分与任务成功率脱钩;3)消融实验——逐项去除或调权,用小规模对照训练确认驱动异常的项;4)修改验证——单变量改动、固定随机种子与评测集跑对照,目标任务指标与代理指标同时改善才算有效,否则可能只是转移了冲突;5)防回归——把该场景加入评测回归集。奖励设计是多目标优化,冲突不可避免,原则是任务目标项占主导、安全与约束用硬约束或大惩罚表达。
深入理解
加分点:举 reward hacking 的典型案例(利用物理引擎穿透刷进度、卡在奖励触发边界反复触发、利用超时判定拖延);以及「改奖励不如改终止条件」的经验——很多冲突根源是成功判定不严格。这道题筛的是系统化 debug 能力:能给出可复现的定位流程与验证标准,而不是「凭感觉调权重」。