跳到主要内容
Zubnet AI › 学习 › Wiki › Humanity's Last Exam
训练

Humanity's Last Exam

别名:HLE、人类最后的考试
一个由 2,500 道专家编写、处于人类知识边界的题目组成的基准,在 2025 年专门为了让当时最好的 AI 模型不及格而打造。

为什么重要

HLE 让记分牌归零。发布时,顶尖模型的得分只有个位数:GPT-4o 约 3%,2025 年初最好的推理模型也不到 15%。这让业界重新有了衡量进步的空间。

进步来得很快。几个月之内,带搜索工具的推理模型和深度研究智能体就突破了 20%,到 2025 年底,最好的系统已超过 40%:Gemini 3 Deep Think 在不使用工具时得分 41%,使用工具的系统在纯文本子集上得分更高。这个基准成了前沿模型发布时的常规项目,如今也有了后继者 HLE-Rolling 和 HLE-Diamond。它的走势也是专家级问答能力进步速度的较清晰信号之一。

深度解析

到 2024 年,AI 模型在标准知识基准上的得分已经达到 90% 左右,这些测试也就无法再区分最好的模型了。Humanity's Last Exam(人类最后的考试)就是对此的回应。它由 Center for AI Safety 和 Scale AI 组织,于 2025 年初发布,题目来自全球数百家机构的近千名学科专家,其中大多是教授和研究人员。

关键规则是:只有当领先的 AI 模型答错时,一道题才会被收录。投稿者还可以角逐总额 50 万美元的奖金池,奖励最好的题目。

题目是什么样的

这 2,500 道题覆盖一百多个学科,其中数学占比最大,其次是生物与医学、计算机科学、物理、人文学科、化学和工程。例子包括翻译一段古代铭文、数出某一科鸟类的特定解剖特征,或者解一道研究级的数学题。大多数题要求给出简短而精确的答案,约四分之一是选择题,少数带有图片。每道题都有一个可以验证的答案,而且无法通过快速的网络搜索找到。

校准

HLE 还要求模型说明自己的置信度。早期结果显示出严重的过度自信:模型一边给出错误答案,一边声称把握很大,校准误差超过 70% 甚至 80%。这让 HLE 既是知识测试,也是幻觉测试。一个知道自己不知道什么的模型,比一个自信地瞎猜的模型更有用。

批评

  • 冷知识还是智力? 很多题考的是极其冷门的知识。得分高说明知识面广、推理细致,但这和胜任研究人员的工作不是一回事。
  • 答案质量:前沿问题很难核实。2025 年的一项独立复查认为,化学和生物题中有相当一部分答案与已发表的文献相冲突。维护者一直在陆续修正和替换题目。
  • 对抗性筛选:题目是针对 2024 年的特定模型筛选出来的,所以早期分数部分反映的是这层筛选,而不只是难度。
  • 工具改变了考试:带网络搜索的模型和不带搜索的模型做的是不同的任务,所以结果应当注明用的是哪一种。
  • 名字:它不会是最后一场考试。更难的基准,以及基于长时间开放式任务的基准,已经接踵而至。

解读结果

要同类相比:相同的工具权限,相同的推理强度。除了准确率,也要看校准。还要记住,公开的题目迟早会泄漏进训练数据;组织方保留了一套不公开的题目,用来发现对公开题目过拟合的模型。

← 所有术语
ESC