知识中等

大模型的对齐方法有哪些？（SFT、RLHF、DPO、GRPO 等）

SFT 打底，RLHF 用奖励模型 + PPO，DPO 直接从偏好对优化省掉奖励模型，GRPO 用组相对优势替代 critic；各有成本与稳定性取舍。

标准答案

主流路线：SFT 用高质量示范做监督微调，是对齐的地基；RLHF 先训练奖励模型再用 PPO 优化策略，效果好但工程复杂、易不稳定；DPO 从偏好对的排序关系推导出闭式损失，跳过显式奖励模型和在线采样，训练简单稳定；GRPO 对同一 prompt 采样一组输出、组内相对优势做策略梯度，去掉了 critic，在可验证奖励场景（数学、代码）广泛使用。此外还有 RLAIF、迭代式 DPO 等变体。

深入理解

回答时给出「成本-稳定性-上限」的对比框架：RLHF 上限高但需要同时维护 RM、策略与采样；DPO 离线简单但受偏好数据分布限制；GRPO 介于两者之间。具身对应关系值得主动建立：机器人版的 SFT 是演示模仿，RLHF 的对应物是基于人工纠正与可验证成功的后训练（如 RECAP）。