一套涵盖 57 个学科、约 16,000 道题的选择题考试,在被模型刷到接近满分之前一直是衡量 LLM 通识知识的标准。
为什么重要
大约有四年时间,MMLU 是几乎每一次模型发布和每一张模型卡上的第一个数字。它用一个一目了然的数字回答了“这个模型懂多少”的问题,而且横跨众多领域。
它也是基准生命周期的教科书式案例。GPT-4 在 2023 年达到约 86%,此后前沿模型都聚集在 90% 上下。到了这一步,模型之间的差距比基准本身的噪声还小,业界于是转向了更难的测试。你仍然会看到有人引用 MMLU,尤其是针对小模型和开放模型,在那里它依然能区分强弱。
深度解析
MMLU 由 Dan Hendrycks 及其同事于 2020 年发布。它从 57 个学科的真实考试和学习资料中收集题目,从初等数学、美国历史到大学物理、专业法律和医学都有。每道题有四个选项,所以随机猜测能得 25%。得分就是答对题目的百分比。
发布之初,当时最好的模型 GPT-3 得分约 44%,而人类专家的水平估计在 90% 左右。这么大的差距让它在好几年里都是一把好用的标尺。
怎么测
通常先给模型几道带答案的示例题(5-shot),再给出测试题,模型必须输出 A 到 D 中的一个字母。结果取决于提示格式、答案提取方式等细节,所以不同来源报告的分数并不总是可比的。
已知问题
- 饱和:顶尖模型已经到达或接近天花板。
- 数据中的错误:2024 年一项名为 MMLU-Redux 的复查重新核对了一批样本,估计超过 6% 的题目有错误,比如标准答案错误或表述不清。在某些学科(比如病毒学)中,被核对的题目有一半以上存在问题。满分甚至是不可能的。
- 污染:这些题目已经公开多年,肯定在训练数据里。
- 题型:选择题奖励的是识别而不是生成,模型有时不知道答案也能排除选项。
后继者
- MMLU-Pro(2024 年):约 12,000 道题,选项从四个增加到十个,并更强调推理,这把最高分重新拉了下来。
- GPQA(2023 年):448 道研究生水平的生物、物理和化学题,由领域专家编写,目标是“谷歌也搜不到答案”。有能力的非专家在可以上网、每题有半小时的条件下只得了 34%,而专家得了 65%。其中最难的子集 GPQA Diamond 成为推理模型的标准基准,到 2025 年,领先的模型已经超过了专家基线。
- Humanity's Last Exam(2025 年):由专家编写的题目,设计目标是让当时的前沿模型答不出来。
如何解读 MMLU 分数
把它当成一个粗筛。得 60% 的模型和得 85% 的模型明显不同。两个分别得 88% 和 90% 的模型则未必,至少单凭这个证据看不出来。要为你的产品挑选模型,用你自己的任务搭一个小测试集,比任何通识考试都更能说明问题。