知识中等
失败轨迹和低质量样本在后训练中有哪些用途?它们应如何参与数据迭代或策略训练?
失败轨迹是后训练的免费负样本:离线 value 学习的信用来源、奖励模型与成功检测器的负例、偏好对与优势条件化的低分侧,以及场景挖掘的归因线索。
标准答案
至少四类用途:1)value 学习——离线 RL(RECAP、RLT)需要成功与失败两类经验才能拟合出有区分度的 value,只有成功轨迹没有对比信号;2)奖励与成功检测器——作为负例标定分类边界,校准 precision/recall;3)偏好优化——同任务成败对组成偏好对(DPO 式),或在优势条件化训练里提供低优势标签;4)数据迭代——失败原因聚类(感知/规划/控制/数据/Sim2Real)直接指向下一次采集与场景设计。低质量样本:用于训练质量判别器、做清洗规则的回归测试,或降权参与训练而非一扔了之——直接丢弃会丢失分布尾部的信息。
深入理解
关键意识:「失败不是脏数据,而是信用分配的监督信号」。能结合 π*0.6 的 RECAP(时间一致性自举依赖含失败的回放)或 DPO 偏好对说明失败被哪个算法模块消费是加分项;同时要主动给出边界——失败轨迹直接做 BC 会教坏策略,用途取决于算法而非数据本身。按失败原因分流(可修复的进纠正采集、不可修复的进负例池)是工程化答案。