知识中等
累计奖励可能使较长轨迹获得更高得分,即使它的任务效率更低。如何识别并处理这种长度偏置?
识别靠统计回报与轨迹长度的相关性;处理按任务语义选折扣因子、每步时间惩罚或效率归一化计分,注意 γ 过小会引入短视偏置。
标准答案
识别:统计成功轨迹的回报-长度相关性,若更慢、动作更冗余的长轨迹反而得分更高,或策略表现出「拖时间刷正向过程分」的行为,就存在长度偏置。处理按任务语义选:1)折扣 γ<1 让晚到的奖励贬值,长轨迹的边际奖励自然缩水;2)每步加小的负奖励(时间惩罚)鼓励尽快完成;3)把指标改成效率归一化形式(成功率/单位时间、单位长度奖励);4)势函数塑形以任务进度为 Φ 时保证终态 Φ 与路径无关,避免绕路累计高分。注意反向风险:γ 过小或时间惩罚过重会诱发短视与「提前放弃」(宁可拿零回报也不愿承受后续惩罚),参数要匹配任务时标。
深入理解
追问常落在:γ 的选择与任务时长/控制频率的关系——有效视野应覆盖完成任务所需步数;时间惩罚与稀疏终局奖励组合时的自杀式提前终止反例;以及折扣与平均奖励两种准则的差异。能主动给出这些边界反例,说明真懂长度偏置的权衡而不是背结论。