Um sistema de IA chamado The AI Scientist produziu um artigo de machine learning que pontuou bem o suficiente para passar na revisão por pares em um workshop do ICLR, ganhando pontuações de revisores de 6, 7 e 6 para uma média de 6,33—acima do limite de aceitação e no top 45% das submissões. Mas o conteúdo do artigo era comum: testou uma técnica que no final não melhorou o aprendizado de redes neurais. A equipe de pesquisa o retirou antes da aceitação sob seu protocolo pré-estabelecido para trabalhos gerados por IA.
A história real não são as descobertas medíocres do artigo, mas como ele foi feito. O The AI Scientist automatizou geração de ideias, revisão de literatura, experimentação, escrita de manuscrito e revisão por pares através de todo o pipeline de pesquisa. Isso vai muito além das ferramentas atuais de IA que ajudam com programação ou análise de dados—está automatizando formação de hipóteses e interpretação científica, as partes que pesquisadores achavam que definiam seu trabalho. Publicado na Nature, isso representa o primeiro caso documentado de IA superando uma barreira de revisão por pares de ponta a ponta, mesmo no nível mais baixo de workshop.
As limitações são significativas e reveladoras. Nenhum dos três artigos atingiu padrões para a conferência principal do ICLR, e workshops aceitam 70% das submissões versus 32% para a trilha principal. Humanos ainda filtraram manualmente as saídas antes da submissão, escolhendo os candidatos mais promissores. O sistema só funciona em machine learning onde experimentos rodam inteiramente em computadores, não em campos que requerem laboratórios físicos ou validação complexa do mundo real.
Para construtores de IA, isso sinaliza uma mudança de ferramentas que auxiliam pesquisa para sistemas que tentam pesquisa. As implicações são desconfortáveis: se IA pode gerar trabalho publicável em padrões de workshop hoje, o que acontece com carreiras científicas, credibilidade de revisão por pares e qualidade de pesquisa amanhã? A tecnologia funciona, mal e mal—mas as questões que levanta sobre a ciência em si estão apenas começando.