Aller au contenu principal
Zubnet AI › Apprendre › Wiki › ARC-AGI
Entraînement

ARC-AGI

Aussi appelé : Abstraction and Reasoning Corpus, ARC Prize
Un benchmark de puzzles visuels sur grille, conçu pour mesurer la capacité d'une IA à apprendre de nouvelles compétences à partir de quelques exemples, plutôt qu'à réciter ce qu'elle a vu à l'entraînement.

Pourquoi c'est important

ARC-AGI repose sur une thèse précise : l'intelligence, ce n'est pas la quantité de choses que l'on sait, mais l'efficacité avec laquelle on acquiert de nouvelles compétences. Les benchmarks remplis de questions de connaissances peuvent être réussis par mémorisation à grande échelle. ARC essaie de rendre cela impossible avec des puzzles inédits, dont une partie reste dans des jeux de test privés.

C'est pourquoi il est au cœur des débats sur l'AGI. Les grands modèles de langage qui réussissaient brillamment les examens de connaissances ont obtenu des scores proches de zéro sur ARC pendant des années. Puis, en décembre 2024, le modèle de raisonnement o3 d'OpenAI a atteint 75,7 % sur le jeu semi-privé dans les limites de calcul, et 87,5 % avec beaucoup plus de calcul. C'était le signe le plus net que le calcul à l'inférence et les modèles de raisonnement avaient changé ce que l'IA pouvait faire, mais pour un coût de plusieurs milliers de dollars par tâche dans la configuration la plus poussée.

En profondeur

ARC a été créé en 2019 par François Chollet, le créateur de la bibliothèque de deep learning Keras, en même temps que son article « On the Measure of Intelligence ». Chaque tâche montre quelques paires d'exemples de petites grilles colorées : une grille d'entrée et la grille de sortie qu'elle doit devenir. Il faut deviner la règle cachée (remplir les formes fermées, refléter le motif, compter les objets et tracer une barre) et l'appliquer à une nouvelle entrée. Pas de texte, pas de culture générale, pas de connaissances spécialisées : seulement de l'abstraction.

La plupart des gens résolvent ces puzzles facilement. Pendant des années, les systèmes d'IA n'y arrivaient pas.

Les versions

  • ARC-AGI-1 (2019) : le jeu d'origine, avec 800 tâches publiques et des jeux d'évaluation cachés.
  • ARC-AGI-2 (2025) : des tâches plus difficiles, conçues pour résister à la recherche par force brute et exiger plus de raisonnement compositionnel. Au lancement, les meilleurs systèmes d'IA obtenaient quelques pour cent seulement alors que des testeurs humains résolvaient les tâches, et les scores grimpent depuis.
  • ARC-AGI-3 (2026) : un benchmark interactif, lancé le 25 mars 2026, où des agents doivent explorer de petits environnements proches du jeu et découvrir eux-mêmes les buts et les règles. À son lancement, les humains obtenaient 100 % et les systèmes d'IA de pointe moins de 1 %.

L'ARC Prize

Depuis 2024, la fondation ARC Prize organise une compétition annuelle dotée d'un grand prix important pour qui atteint un score élevé sur le jeu privé sous des limites strictes : les solutions doivent tourner hors ligne sur du matériel modeste, en temps limité. Cela maintient l'attention sur les méthodes efficaces plutôt que sur le calcul illimité. Parmi les approches gagnantes figure l'entraînement à l'inférence (test-time training), où un modèle s'ajuste brièvement sur les exemples de chaque puzzle.

L'efficacité fait partie du score

Le classement indique le coût par tâche à côté de la précision. Atteindre un score avec 10 000 $ de calcul par puzzle est considéré comme un résultat très différent de l'atteindre pour quelques centimes. Cela reflète l'idée centrale du benchmark : l'intelligence inclut l'efficacité.

Lire les résultats d'ARC

Un bon score sur ARC est un indice sérieux de raisonnement flexible, mais ce n'est pas une preuve d'intelligence générale. Les puzzles sont un format étroit, et ils ne testent ni le langage, ni la connaissance du monde réel, ni la planification à long terme. Chollet lui-même a dit que « réussir ARC-AGI ne revient pas à atteindre l'AGI », et le président de l'ARC Prize, Greg Kamradt, a dit que battre ARC est nécessaire mais pas suffisant pour l'AGI. Voyez-y l'un des tests de raisonnement les plus difficiles et les plus honnêtes qui existent, pas une ligne d'arrivée.

← Tous les termes
ESC