知识中等
在什么情况下,模仿学习或 SFT 已经足够,什么情况下值得引入强化学习?如何判断进入 RL 阶段的时机,并评估 SFT 对后续训练的影响?
示范覆盖充分、奖励难定义时留在模仿;当成功率被示范质量封顶、存在可靠可验证奖励、且 SFT 已到数据边际收益平台期时引入 RL。
标准答案
判断时机看三条:1)上限——模仿学习的性能上界是示范分布,当加大示范数据成功率仍停在平台期、或专家本身做不好目标行为(超出人类演示能力)时,值得转 RL;2)奖励——必须存在可靠、难被黑客的奖励信号(任务成功率、约束违反),否则 RL 只会优化假信号;3)基座——SFT 策略要足够好,让探索不至于从零开始。评估 SFT 的影响:SFT 分布过窄会限制 RL 探索、策略对分布外动作概率极低,过弱则采样效率差;常用做法是把 SFT 数据加到成功率曲线趋平,再以 SFT 策略为 KL 参考点启动 RL,并对比「直接 RL」与「SFT 后 RL」的采样效率与最终成功率来量化收益。
深入理解
追问常落在:如何量化示范瓶颈——画数据规模-成功率曲线看边际收益;SFT 对 RL 的影响还体现在参考模型与熵的初始化上;以及工程上更稳的中间形态(DAgger 式纠正、拒采样再训练、优势加权)往往先于完整 RL 落地。能给出「先诊断数据、再决定上 RL」的决策框架,比背结论更加分。