生成式评估:指标怎么选,打分模型怎么校准?
米哈游评测岗连追 5 题,核心痛点是缺乏 ground truth 时如何建立可信度量。评估体系分四层:n-gram 重叠类(BLEU/ROUGE)适合有参考答案的短文本;语义相似度(BERTScore)缓解 n-gram 僵化;基于 LLM 的评估(GPT-4 as Judge)适合开放式生成,但需警惕位置偏差、长度偏差和自我增强偏差,可通过细化 rubric、多轮投票和引入参考回答来缓解。若训练 Reward Model,需用高质量 pairwise 对比数据,并对奖励分布做正则 / 加 KL 约束,防止 reward hacking。