跳到主要内容
Zubnet AI › 学习 › Wiki › ARC-AGI
训练

ARC-AGI

别名:Abstraction and Reasoning Corpus、抽象与推理语料库、ARC Prize
一项由视觉网格谜题组成的基准测试,用来衡量 AI 只凭几个示例学会新技能的能力,而不是回忆训练内容的能力。

为什么重要

ARC-AGI 建立在一个明确的主张之上:智能不在于你知道多少,而在于你掌握新技能的效率有多高。满是知识题的基准,可以靠大规模记忆通过。ARC 试图通过使用全新的谜题、并把其中一部分留在私有测试集里,让这条路走不通。

这就是它一直处在 AGI 争论中心的原因。在知识考试中拿高分的大语言模型,多年来在 ARC 上的得分接近零。到了 2024 年 12 月,OpenAI 的推理模型 o3 在算力限制内,在半私有测试集上达到 75.7%,使用多得多的算力时达到 87.5%。这是当时最清晰的信号,说明测试时计算和推理模型改变了 AI 能做到的事,不过在高算力一端,每个任务的成本高达数千美元。

深度解析

ARC 由深度学习库 Keras 的作者 François Chollet 在 2019 年创建,与他的论文《On the Measure of Intelligence》一同发布。每个任务给出几对小型彩色网格作为示例:一个输入网格,以及它应该变成的输出网格。解题者必须找出隐藏的规则(填充封闭的形状、镜像图案、数出物体数量并画成条形),再把它应用到新的输入上。没有文字,没有冷知识,也不需要专业知识,只有抽象。

大多数人能轻松解开这些谜题。而多年来,AI 系统做不到。

各个版本

  • ARC-AGI-1(2019 年):最初的数据集,包含 800 个公开任务,外加隐藏的评估集。
  • ARC-AGI-2(2025 年):更难的任务,设计上能抵抗暴力搜索,需要更多组合式推理。发布时,领先的 AI 系统得分只有个位数的低段,而人类测试者能解出这些任务,此后分数一直在上升。
  • ARC-AGI-3(2026 年):一项交互式基准,于 2026 年 3 月 25 日推出,智能体必须探索小型的类游戏环境,自己弄清目标和规则。推出时,人类得分 100%,前沿 AI 系统不到 1%。

ARC Prize

自 2024 年起,ARC Prize 基金会每年举办一次竞赛,为在严格限制下在私有测试集上取得高分的方案设立高额大奖:解法必须在普通硬件上离线运行,并在固定时间内完成。这让焦点保持在高效的方法上,而不是往问题上砸无限的算力。获胜方案中包括测试时训练,也就是模型针对每道谜题的示例短暂地微调自己。

效率也是成绩的一部分

排行榜在准确率旁边还报告每个任务的成本。每道谜题花 10,000 美元算力达到某个分数,和只花几美分达到同样的分数,被看作截然不同的成就。这体现了该基准的核心理念:智能包含效率。

如何解读 ARC 的结果

ARC 的高分是灵活推理能力的有力证据,但不是通用智能的证明。这些谜题只是一种狭窄的形式,不考语言、现实世界知识,也不考长程规划。Chollet 本人说过,“通过 ARC-AGI 并不等于实现了 AGI”;ARC Prize 总裁 Greg Kamradt 则说,攻克 ARC 是 AGI 的必要条件,但不是充分条件。把它当作现有最难、最诚实的推理测试之一,而不是终点线。

← 所有术语
ESC