Saltar al contenido principal
Zubnet AI › Aprender › Wiki › ARC-AGI
Entrenamiento

ARC-AGI

También conocido como: Abstraction and Reasoning Corpus, ARC Prize
Un benchmark de rompecabezas visuales en cuadrícula, diseñado para medir lo bien que una IA aprende habilidades nuevas a partir de unos pocos ejemplos, en lugar de recordar lo que vio en su entrenamiento.

Por qué importa

ARC-AGI se construye sobre una afirmación concreta: la inteligencia no es cuánto sabes, sino con qué eficiencia adquieres habilidades nuevas. Los benchmarks llenos de preguntas de conocimiento se pueden aprobar memorizando a gran escala. ARC intenta hacer eso imposible con rompecabezas inéditos, una parte de los cuales se guarda en conjuntos de prueba privados.

Por eso ha sido central en los debates sobre la AGI. Los grandes modelos de lenguaje que arrasaban en los exámenes de conocimiento puntuaron cerca de cero en ARC durante años. Después, en diciembre de 2024, el modelo de razonamiento o3 de OpenAI alcanzó un 75,7 % en el conjunto semiprivado dentro de los límites de cómputo, y un 87,5 % usando mucho más cómputo. Fue la señal más clara hasta entonces de que el cómputo en tiempo de inferencia y los modelos de razonamiento habían cambiado lo que la IA podía hacer, aunque con un costo de miles de dólares por tarea en la configuración más alta.

En profundidad

ARC lo creó en 2019 François Chollet, el creador de la biblioteca de deep learning Keras, junto con su artículo «On the Measure of Intelligence». Cada tarea muestra unos pocos pares de ejemplo de pequeñas cuadrículas de colores: una cuadrícula de entrada y la cuadrícula de salida en la que debe convertirse. Quien resuelve tiene que descubrir la regla oculta (rellenar las formas cerradas, reflejar el patrón, contar objetos y dibujar una barra) y aplicarla a una entrada nueva. No hay texto, ni cultura general, ni conocimientos especializados: solo abstracción.

La mayoría de la gente resuelve estos rompecabezas con facilidad. Durante años, los sistemas de IA no pudieron.

Las versiones

  • ARC-AGI-1 (2019): el conjunto original, con 800 tareas públicas y conjuntos de evaluación ocultos.
  • ARC-AGI-2 (2025): tareas más difíciles, diseñadas para resistir la búsqueda por fuerza bruta y exigir más razonamiento composicional. En su lanzamiento, los principales sistemas de IA puntuaban apenas unos pocos puntos porcentuales mientras los evaluadores humanos resolvían las tareas, y las puntuaciones han ido subiendo desde entonces.
  • ARC-AGI-3 (2026): un benchmark interactivo, lanzado el 25 de marzo de 2026, en el que los agentes deben explorar pequeños entornos parecidos a juegos y averiguar por sí mismos los objetivos y las reglas. En su lanzamiento, los humanos obtenían el 100 % y los sistemas de IA de frontera, menos del 1 %.

El ARC Prize

Desde 2024, la ARC Prize Foundation organiza una competición anual con un gran premio importante para quien alcance una puntuación alta en el conjunto privado bajo límites estrictos: las soluciones deben ejecutarse sin conexión, en hardware modesto y en un tiempo fijo. Eso mantiene el foco en los métodos eficientes y no en lanzar cómputo ilimitado al problema. Entre los enfoques ganadores está el entrenamiento en tiempo de prueba (test-time training), en el que un modelo se ajusta brevemente con los ejemplos de cada rompecabezas.

La eficiencia forma parte de la puntuación

La tabla de clasificación informa del costo por tarea junto a la precisión. Alcanzar una puntuación con 10.000 dólares de cómputo por rompecabezas se considera un logro muy distinto de alcanzarla por unos céntimos. Esto refleja la idea central del benchmark: la inteligencia incluye la eficiencia.

Cómo leer los resultados de ARC

Una puntuación alta en ARC es una prueba significativa de razonamiento flexible, pero no demuestra inteligencia general. Los rompecabezas son un formato estrecho y no evalúan el lenguaje, el conocimiento del mundo real ni la planificación a largo plazo. El propio Chollet ha dicho que «aprobar ARC-AGI no equivale a lograr la AGI», y el presidente del ARC Prize, Greg Kamradt, ha dicho que superar ARC es necesario pero no suficiente para la AGI. Trátalo como una de las pruebas de razonamiento más difíciles y más honestas que existen, no como una línea de meta.

← Todos los términos
ESC