MMLU
別名:Massive Multitask Language Understanding、MMLU-Pro、GPQA
一套涵蓋 57 個學科、約 16,000 道題的選擇題考試,在被模型刷到接近滿分之前一直是衡量 LLM 通識知識的標準。
為什麼重要
大約有四年時間,MMLU 是幾乎每一次模型發布和每一張模型卡上的第一個數字。它用一個一目瞭然的數字回答了「這個模型懂多少」的問題,而且橫跨眾多領域。
它也是基準生命週期的教科書式案例。GPT-4 在 2023 年達到約 86%,此後前沿模型都聚集在 90% 上下。到了這一步,模型之間的差距比基準本身的雜訊還小,業界於是轉向了更難的測試。你仍然會看到有人引用 MMLU,尤其是針對小模型和開放模型,在那裡它依然能區分強弱。
深度解析
MMLU 由 Dan Hendrycks 及其同事於 2020 年發布。它從 57 個學科的真實考試和學習資料中收集題目,從初等數學、美國歷史到大學物理、專業法律和醫學都有。每道題有四個選項,所以隨機猜測能得 25%。得分就是答對題目的百分比。
發布之初,當時最好的模型 GPT-3 得分約 44%,而人類專家的水準估計在 90% 左右。這麼大的差距讓它在好幾年裡都是一把好用的標尺。
怎麼測
通常先給模型幾道帶答案的範例題(5-shot),再給出測試題,模型必須輸出 A 到 D 中的一個字母。結果取決於提示格式、答案提取方式等細節,所以不同來源報告的分數並不總是可比的。
已知問題
- 飽和:頂尖模型已經到達或接近天花板。
- 資料中的錯誤:2024 年一項名為 MMLU-Redux 的複查重新核對了一批樣本,估計超過 6% 的題目有錯誤,比如標準答案錯誤或表述不清。在某些學科(比如病毒學)中,被核對的題目有一半以上存在問題。滿分甚至是不可能的。
- 污染:這些題目已經公開多年,肯定在訓練資料裡。
- 題型:選擇題獎勵的是辨識而不是生成,模型有時不知道答案也能排除選項。
後繼者
- MMLU-Pro(2024 年):約 12,000 道題,選項從四個增加到十個,並更強調推理,這把最高分重新拉了下來。
- GPQA(2023 年):448 道研究生水準的生物、物理和化學題,由領域專家編寫,目標是「Google 也搜不到答案」。有能力的非專家在可以上網、每題有半小時的條件下只得了 34%,而專家得了 65%。其中最難的子集 GPQA Diamond 成為推理模型的標準基準,到 2025 年,領先的模型已經超過了專家基線。
- Humanity's Last Exam(2025 年):由專家編寫的題目,設計目標是讓當時的前沿模型答不出來。
如何解讀 MMLU 分數
把它當成一個粗篩。得 60% 的模型和得 85% 的模型明顯不同。兩個分別得 88% 和 90% 的模型則未必,至少單憑這個證據看不出來。要為你的產品挑選模型,用你自己的任務搭一個小測試集,比任何通識考試都更能說明問題。