RLHF 整套训练包含哪些损失? 训练阶段如何组合?
RLHF (Reinforcement Learning from Human Feedback) 通常不是一个单独的损失范数，而是一套训练流程。 经典流程可以分为三步: 1 SFT 阶段: 用高质量指令数据做监督微调，让模型先学会基本的问答格式、任务能力和安全边界。 2 Reward Model 阶段: 用人类偏好数据训练奖励模型，让它学会判断同一个 prompt 下哪个回答更好。 3.RL 阶段: 用 PPO 等强化学习方法优化策略模型，让模型生成更符合人类偏好的回答，同时通过 KLAR 吉免偏离 SFTireference model 太远。 对应损失如下。 1. SFT损失 SFT 本质上是语言模型的交叉糖损失，也就是最大化标准答案在当前模型下的概率下(ca)~pser [log ro(ylz)] Hho 是指令或上下文，g 是人工标注或科选后的高质量回答。 2. Reward Model 损失 Reward Model 使用偏好对数据训练(Reward Model 通常用和 SFT同源或规模接近的LLM) 。给定 (zyu,2) ，其中 yw 是人类更偏好的回答，g 是较差回答，奖励模型输出分数 rs(z,y)。常见—E@y..n) [log(re(zgyu) 一rs(z,2))] 这个损失的目标是让好回答的 reward 高于差回答。实际训练中通常还会做 reward normalization、数据去重、 长度偏差控制和验证集评估，避免奖励模型学到'越长越好"或模板化信好。 3. PPO/ RL 阶段损失 RL 阶段把 SFT 模型作为初始策略，把 Reward Model 作为打分器。对 prompt 采样回答后，奖励通常写成— BDgr(ro(-lzjllmee(.lz) 其中 ref 通常是 SFT 模型或固定参考模型。KL 项用于约束当前策略不要为了钻 reward model 的空子而偏离原 模型太远。 PPO 阶段通常包含以下几类目标: 。Policy loss: 提升高优势回答的生成概率，降低低优势回答的生成概率。 。Value loss: 训练 value head 预测当前状态或 token 位置的未来回报，用于估计 advantage。 + KL penalty: 限制当前模型相对 reference model 的漂移。 + Entropy bonus: 鼓励一定探索，避免策略过早缩 PPO 的 clipped policy objective 常写为一了 [ma (ooa clip(pot(9),1 一el1+ Av) | 其中: Te(at|si) 有一(atlsb al?) Toua(ailsi) 综合起来，最小化形式可以概括为— @H (19) + 8D (70|| Tree) 训练阶段如何组合: 1. 先用 SFT 训练出一个可用的 instruction model, 2 冻结一份 SFT 模型作为 reference models 3 .用偏好数据训练 Reward Model. 4 用当前 policy model 对 prompt 采样回答。 5 Reward Model 给回答打分，并额外计算相对 reference model 的 KL penalty. 6 用reward 和 value head 估计 advantage. 7 用 PPO 更新 policy model 和 value head。 8 持续用人工评估、安全评估和离线 benchmark 检查 reward hacking、退化和安全问题。 一句话总结: RLHF 是'SFT 打底、RM 学偏好、PPO 做策略优化"。面试里要强调: RLHF 不只是最大化 reward，还必须用 KL, value loss、entropy、人类评估和安全指标一起约束，否则模型可能学会利用 Reward Model 漏洞，出现 reward hacking、胡编、变吧味或安全退化。