实现 DPO 损失函数

实现 Direct Preference Optimization (DPO) 的损失函数。给定策略模型与参考模型在 chosen（更优回答）和 rejected（更差回答）上的序列对数概率，计算： margin_i = (policy_logp_w[i] - ref_logp_w[i]) - (policy_logp_l[i] - ref_logp_l[i]) logits = beta * margin loss = -log(σ(logits)) 的批均值 # 等价 softplus(-logits).mean() 其中 σ 为 sigmoid，beta 为温度系数。返回标量张量。 要求： - 用数值稳定的方式实现 -log σ(u)（如 F.logsigmoid 或 softplus(-u)，不要直接写 -torch.log(torch.sigmoid(u)) 后在 u 为大负数时溢出）； - 不要调用 TRL 等第三方库； - 计算必须可微（梯度检查会验证 policy_logp_w 上的梯度）。