知识困难
请完整说明 ReCAP 的流程,包括人工介入、训练和测试环节。
部署采集经验(含人工纠正)→ 回放数据上拟合 value/优势 → 优势条件化策略训练 → 以高优势条件部署执行,新经验回流形成闭环。
标准答案
1)经验收集:机器人自主滚动任务,出现险情或失败时由人工接管纠正,全部写入回放。2)训练:先做 SFT 恢复基本能力;在回放数据上以时间一致性拟合 value 函数,得到每段经验的优势估计;把优势量化为标签,与状态-动作一起做优势条件化训练(RECAP),人工纠正段天然携带高优势标签。3)测试与部署:策略以「高优势」条件自举执行,持续采集新经验回到第一步,形成部署即学习的闭环。
深入理解
与在线 RL 的工程差异是回答重点:整个过程中没有环境交互中的梯度更新,学习全部发生在回放数据上的监督式拟合;人工介入既保证安全又提供高质量正例。追问可能在「纠正段的标签为什么可信」「优势条件在部署时如何选择」以及该流程对操作员的依赖程度。