知识中等
奖励由规则定义时,强化学习策略为何仍可能优于规则规划器?如何验证实际收益?
规则优化的是设计者写下的局部逻辑,RL 直接优化任务奖励:能找到人类没枚举的权衡解、对长尾状态更鲁棒、并有跨时序的信用分配;收益必须靠同环境同基线的闭环统计对比与消融来验证。
标准答案
优势的三个来源:1)目标对齐——规则是启发式的堆叠,逐条局部合理但全局未必最优;RL 以任务成功为目标端到端优化,能发现设计者没想到的折中(预减速、贴边通过、借用力);2)覆盖方式——规则对枚举场景负责、边界外脆弱,RL 对分布负责,在传感器噪声与部分可观测的长尾状态里能学到鲁棒反应;3)信用分配——规则逐帧决策无全局视野,value 传播把终局结果反馈到早期动作,做跨时序权衡。但要清醒:奖励也是规则定义的代理,RL 可能比规则更「投机」(hacking),所以验证不可省:同一仿真环境、同一成功判定下,RL 策略对规则基线做成功率/效率/约束违反的统计对比(多 seed、置信区间),加消融(去 RL、只留模仿)证明增益来自 RL,最后抽查行为可解释性排除作弊。
深入理解
这题的陷阱是把「RL 更好」当信仰:加分回答会给出 RL 输给规则的情形——任务简单规则已充分、奖励难写清、样本预算小、需要可验证的安全保证;以及「规则负责兜底约束、RL 负责优化目标」的混合架构(RL 输出被规则层过滤)在工业界更常见。能举具体例子(密集人群/拥堵场景 RL 胜出、常规场景打平)更佳。