為什麼重要
HLE 讓記分牌歸零。發布時,頂尖模型的得分只有個位數:GPT-4o 約 3%,2025 年初最好的推理模型也不到 15%。這讓業界重新有了衡量進步的空間。
進步來得很快。幾個月之內,帶搜尋工具的推理模型和深度研究代理就突破了 20%,到 2025 年底,最好的系統已超過 40%:Gemini 3 Deep Think 在不使用工具時得分 41%,使用工具的系統在純文字子集上得分更高。這個基準成了前沿模型發布時的常規項目,如今也有了後繼者 HLE-Rolling 和 HLE-Diamond。它的走勢也是專家級問答能力進步速度的較清晰訊號之一。
深度解析
到 2024 年,AI 模型在標準知識基準上的得分已經達到 90% 左右,這些測試也就無法再區分最好的模型了。Humanity's Last Exam(人類最後的考試)就是對此的回應。它由 Center for AI Safety 和 Scale AI 組織,於 2025 年初發布,題目來自全球數百家機構的近千名學科專家,其中大多是教授和研究人員。
關鍵規則是:只有當領先的 AI 模型答錯時,一道題才會被收錄。投稿者還可以角逐總額 50 萬美元的獎金池,獎勵最好的題目。
題目是什麼樣的
這 2,500 道題覆蓋一百多個學科,其中數學佔比最大,其次是生物與醫學、電腦科學、物理、人文學科、化學和工程。例子包括翻譯一段古代銘文、數出某一科鳥類的特定解剖特徵,或者解一道研究級的數學題。大多數題要求給出簡短而精確的答案,約四分之一是選擇題,少數帶有圖片。每道題都有一個可以驗證的答案,而且無法透過快速的網路搜尋找到。
校準
HLE 還要求模型說明自己的信心度。早期結果顯示出嚴重的過度自信:模型一邊給出錯誤答案,一邊聲稱把握很大,校準誤差超過 70% 甚至 80%。這讓 HLE 既是知識測試,也是幻覺測試。一個知道自己不知道什麼的模型,比一個自信地瞎猜的模型更有用。
批評
- 冷知識還是智力? 很多題考的是極其冷門的知識。得分高說明知識面廣、推理細緻,但這和勝任研究人員的工作不是一回事。
- 答案品質:前沿問題很難核實。2025 年的一項獨立複查認為,化學和生物題中有相當一部分答案與已發表的文獻相衝突。維護者一直在陸續修正和替換題目。
- 對抗性篩選:題目是針對 2024 年的特定模型篩選出來的,所以早期分數部分反映的是這層篩選,而不只是難度。
- 工具改變了考試:帶網路搜尋的模型和不帶搜尋的模型做的是不同的任務,所以結果應當註明用的是哪一種。
- 名字:它不會是最後一場考試。更難的基準,以及基於長時間開放式任務的基準,已經接踵而至。
解讀結果
要同類相比:相同的工具權限,相同的推理強度。除了準確率,也要看校準。還要記住,公開的題目遲早會洩漏進訓練資料;組織方保留了一套不公開的題目,用來發現對公開題目過擬合的模型。