知识中等
如何评估一个大模型的效果？常用的评测指标有哪些？
自动基准（知识、推理、代码）、困惑度、成对胜率与 LLM-as-judge、人类偏好竞技场，配合安全评测与数据污染检查。
标准答案
常用评估层次：1）自动基准——MMLU 类知识问答、GSM8K/MATH 类数学推理、HumanEval 类代码生成，按准确率/Pass@k 计分；2）语言建模质量用困惑度（perplexity）；3）开放生成用成对比较：人工标注胜率或 LLM-as-judge 自动打分；4）众包竞技场（Chatbot Arena）用真实用户投票换算 Elo；5）安全与鲁棒性专项评测。工程上还要控制数据污染（基准泄漏进训练集）和评测方差（温度、few-shot 设置）。
深入理解
能指出自动基准的局限（刷榜不代表真实可用、污染风险）并给出多维交叉验证的思路，是这题想听的。迁移到具身：同样逻辑对应成功率 + 泛化划分（新物体/新场景/新指令）+ 长时序完成度，可以顺势展示知识串联。