知识中等
强化学习与模仿学习分别需要什么样的数据?如何挖掘场景、划分数据,并确定两类训练数据的配比?
IL 要覆盖任务分布的高质量(观测,专家动作)对;RL 需要带奖励/成败信号的交互经验且欢迎失败;配比按阶段定——SFT 打底为主,按成功率瓶颈递增加码 RL 并混入示范防遗忘。
标准答案
数据形态:模仿学习需要(观测,专家动作)对,讲究覆盖度与一致性——任务/场景/物体多样性、专家水平统一、多模态不冲突;RL 需要(状态,动作,奖励,转移)或至少可验证的结果信号,允许并需要失败轨迹,关键是奖励可靠、回放分布合理。场景挖掘:从评测失败案例、长尾场景、约束违反案例出发反向生成采集需求;划分上按「任务 x 场景 x 物体 x 初始状态」正交切分训练/验证,保证泛化可度量。配比:没有定式,按阶段定——前期 SFT 示范为主建立行为先验;RL 阶段按成功率瓶颈加码,同时固定比例混入示范数据防灾难遗忘;监控指标是目标任务成功率与示范任务的保持率两条曲线。
深入理解
高分点:说清这组对偶——「RL 不挑数据好坏但挑奖励真假,IL 不挑奖励但挑示范质量」;配比实验怎么做(固定 RL 数据量、扫示范混入比例,看成功率与遗忘);以及失败样本在模仿侧的有限用途(负例训练质量判别器、错误检测)。能把配比讲成随训练动态调整的量而不是常数,是实战经验的信号。