知识困难
请结合项目说明预训练、SFT 与 GRPO 各自的作用,以及从数据准备、轨迹采样、奖励计算、策略更新到评测的完整流程。
预训练给通用表示,SFT 用示范把行为对齐到任务分布,GRPO 在 SFT 之上用可验证奖励继续突破模仿上限;完整流程是数据准备 → 轨迹采样 → 奖励计算 → 策略更新 → 评测的闭环。
标准答案
三者解决不同阶段的问题。预训练(对 VLA 是图文/视频或大规模演示的自监督与生成目标)提供语义与控制先验;SFT 用高质量专家示范做监督微调,把策略对齐到目标任务分布,是 RL 的起点;GRPO 在 SFT 策略之上用任务奖励(成功率等可验证信号)做相对优势更新,突破示范质量的天花板。完整流程:1)数据准备——任务定义、场景与示范配比、成功标注与清洗;2)轨迹采样——当前策略在仿真或真机 rollout,记录观测、动作、奖励与转移;3)奖励计算——按规则或学习型奖励打分,构造回报并计算组内相对优势;4)策略更新——clip 目标加 KL 约束更新若干 epoch,同步维护 value 与参考模型;5)评测——固定任务集与基线对比,失败案例回灌到下一轮数据准备。五个环节构成迭代闭环而不是单向流水线。
深入理解
面试官想听的是三个阶段为什么缺一不可:没有预训练则泛化差,没有 SFT 则 RL 的探索空间过大且行为与示范脱节,没有 RL 则成功率被示范质量封顶。加分点:结合自己项目给出各阶段的数据量级与失败模式(SFT 过拟合导致探索塌缩、奖励与示范分布冲突、评测集泄漏进训练),并说清评测失败案例如何回流成下一轮 SFT 补数或 RL 场景——能把流程讲成闭环而不是背步骤,正是这题的筛选点。