跳到主要內容
Zubnet AI › 學習 › Wiki › ARC-AGI
訓練

ARC-AGI

別名:Abstraction and Reasoning Corpus、抽象與推理語料庫、ARC Prize
一項由視覺網格謎題組成的基準測試,用來衡量 AI 只憑幾個範例學會新技能的能力,而不是回憶訓練內容的能力。

為什麼重要

ARC-AGI 建立在一個明確的主張之上:智慧不在於你知道多少,而在於你掌握新技能的效率有多高。滿是知識題的基準,可以靠大規模記憶通過。ARC 試圖透過使用全新的謎題、並把其中一部分留在私有測試集裡,讓這條路走不通。

這就是它一直處在 AGI 爭論中心的原因。在知識考試中拿高分的大型語言模型,多年來在 ARC 上的得分接近零。到了 2024 年 12 月,OpenAI 的推理模型 o3 在算力限制內,在半私有測試集上達到 75.7%,使用多得多的算力時達到 87.5%。這是當時最清晰的訊號,說明測試時計算和推理模型改變了 AI 能做到的事,不過在高算力一端,每個任務的成本高達數千美元。

深度解析

ARC 由深度學習函式庫 Keras 的作者 François Chollet 在 2019 年建立,與他的論文《On the Measure of Intelligence》一同發布。每個任務給出幾對小型彩色網格作為範例:一個輸入網格,以及它應該變成的輸出網格。解題者必須找出隱藏的規則(填充封閉的形狀、鏡像圖案、數出物體數量並畫成條形),再把它應用到新的輸入上。沒有文字,沒有冷知識,也不需要專業知識,只有抽象。

大多數人能輕鬆解開這些謎題。而多年來,AI 系統做不到。

各個版本

  • ARC-AGI-1(2019 年):最初的資料集,包含 800 個公開任務,外加隱藏的評估集。
  • ARC-AGI-2(2025 年):更難的任務,設計上能抵抗暴力搜尋,需要更多組合式推理。發布時,領先的 AI 系統得分只有個位數的低段,而人類測試者能解出這些任務,此後分數一直在上升。
  • ARC-AGI-3(2026 年):一項互動式基準,於 2026 年 3 月 25 日推出,代理必須探索小型的類遊戲環境,自己弄清目標和規則。推出時,人類得分 100%,前沿 AI 系統不到 1%。

ARC Prize

自 2024 年起,ARC Prize 基金會每年舉辦一次競賽,為在嚴格限制下在私有測試集上取得高分的方案設立高額大獎:解法必須在普通硬體上離線執行,並在固定時間內完成。這讓焦點保持在高效的方法上,而不是往問題上砸無限的算力。獲勝方案中包括測試時訓練,也就是模型針對每道謎題的範例短暫地微調自己。

效率也是成績的一部分

排行榜在準確率旁邊還報告每個任務的成本。每道謎題花 10,000 美元算力達到某個分數,和只花幾美分達到同樣的分數,被看作截然不同的成就。這體現了該基準的核心理念:智慧包含效率。

如何解讀 ARC 的結果

ARC 的高分是靈活推理能力的有力證據,但不是通用智慧的證明。這些謎題只是一種狹窄的形式,不考語言、現實世界知識,也不考長程規劃。Chollet 本人說過,「通過 ARC-AGI 並不等於實現了 AGI」;ARC Prize 總裁 Greg Kamradt 則說,攻克 ARC 是 AGI 的必要條件,但不是充分條件。把它當作現有最難、最誠實的推理測試之一,而不是終點線。

← 所有術語
ESC