知识中等
在采用稀疏奖励的机器人任务中,如何定义并可靠检测任务成功,进而生成终止奖励?
成功判定要可复现、可抗黑客:优先用几何/物理判据(位姿误差、接触、力)而非模糊外观,多条件组合 + 人工抽检校准,确认成功才发终止奖励。
标准答案
定义层面:把任务成功拆成可观测的物理判据——目标位姿误差小于阈值、物体稳定落在支撑面、夹爪状态正确、接触力在范围内;避免「看起来像成功」的模糊定义。检测层面:仿真直接读真值状态;真机用状态估计加关键帧视觉分类器组合,阈值在标定后固定并版本化。可靠性保障:边界 case 显式处理(物体滑落、翻转、卡在边缘算失败);人工抽检校准检测器的 precision/recall,把漏检误检率计入评测置信区间;检测器与策略联合迭代——策略学会蹭检测漏洞(把物体推到阈值边缘悬停)时收紧判据。终止奖励只在确认成功后给,失败与超时路径的奖励结构要与成功明显可分,防止策略学会利用终止逻辑。
深入理解
加分点:成功判据粒度(二值成功 vs 分级质量分)对 value 学习与探索的影响;训练与评测共用同一检测器的过拟合风险(训练侧可加判据噪声或用更严格阈值);以及成功检测错误率与策略上限的关系——检测器 precision 不够时 RL 会把误检当可利用漏洞。这题考工程严谨性,答案落地到「阈值版本化 + 抽检 + 回归集」就是实践过的信号。