ARC-AGI
Por que isso importa
O ARC-AGI se apoia em uma tese específica: inteligência não é o quanto você sabe, e sim a eficiência com que você adquire habilidades novas. Benchmarks cheios de perguntas de conhecimento podem ser vencidos por memorização em grande escala. O ARC tenta tornar isso impossível com quebra-cabeças inéditos, parte deles guardada em conjuntos de teste privados.
Por isso ele tem sido central nos debates sobre AGI. Grandes modelos de linguagem que gabaritavam provas de conhecimento ficaram perto de zero no ARC durante anos. Então, em dezembro de 2024, o modelo de raciocínio o3, da OpenAI, chegou a 75,7% no conjunto semiprivado dentro dos limites de computação, e a 87,5% usando muito mais computação. Foi o sinal mais claro até então de que a computação em tempo de inferência e os modelos de raciocínio tinham mudado o que a IA conseguia fazer, embora a um custo de milhares de dólares por tarefa na configuração mais alta.
Em profundidade
O ARC foi criado em 2019 por François Chollet, o criador da biblioteca de deep learning Keras, junto com o artigo "On the Measure of Intelligence". Cada tarefa mostra alguns pares de exemplo de pequenas grades coloridas: uma grade de entrada e a grade de saída em que ela deve se transformar. Quem resolve precisa descobrir a regra oculta (preencher as formas fechadas, espelhar o padrão, contar objetos e desenhar uma barra) e aplicá-la a uma entrada nova. Não há texto, nem conhecimentos gerais, nem conhecimento especializado: só abstração.
A maioria das pessoas resolve esses quebra-cabeças com facilidade. Durante anos, os sistemas de IA não conseguiram.
As versões
- ARC-AGI-1 (2019): o conjunto original, com 800 tarefas públicas e conjuntos de avaliação ocultos.
- ARC-AGI-2 (2025): tarefas mais difíceis, pensadas para resistir à busca por força bruta e exigir mais raciocínio composicional. No lançamento, os principais sistemas de IA marcavam só alguns pontos percentuais enquanto avaliadores humanos resolviam as tarefas, e as pontuações vêm subindo desde então.
- ARC-AGI-3 (2026): um benchmark interativo, lançado em 25 de março de 2026, em que agentes precisam explorar pequenos ambientes parecidos com jogos e descobrir sozinhos os objetivos e as regras. No lançamento, os humanos marcavam 100% e os sistemas de IA de fronteira, menos de 1%.
O ARC Prize
Desde 2024, a ARC Prize Foundation organiza uma competição anual com um grande prêmio para quem atingir uma pontuação alta no conjunto privado sob limites rígidos: as soluções precisam rodar offline, em hardware modesto e em tempo fixo. Isso mantém o foco em métodos eficientes, e não em despejar computação ilimitada no problema. Entre as abordagens vencedoras está o treinamento em tempo de teste (test-time training), em que um modelo faz um ajuste rápido nos exemplos de cada quebra-cabeça.
Eficiência faz parte da pontuação
O ranking informa o custo por tarefa ao lado da precisão. Atingir uma pontuação com 10.000 dólares de computação por quebra-cabeça é tratado como um feito bem diferente de atingi-la por alguns centavos. Isso reflete a ideia central do benchmark: inteligência inclui eficiência.
Como ler os resultados do ARC
Uma pontuação alta no ARC é uma evidência relevante de raciocínio flexível, mas não prova inteligência geral. Os quebra-cabeças são um formato estreito e não testam linguagem, conhecimento do mundo real nem planejamento de longo prazo. O próprio Chollet já disse que "passar no ARC-AGI não equivale a alcançar a AGI", e o presidente do ARC Prize, Greg Kamradt, já disse que vencer o ARC é necessário, mas não suficiente, para a AGI. Trate-o como um dos testes de raciocínio mais difíceis e mais honestos que existem, não como uma linha de chegada.