Humanity's Last Exam
Por que isso importa
O HLE zerou o placar. No lançamento, os melhores modelos marcavam um dígito: o GPT-4o em torno de 3%, e os melhores modelos de raciocínio do início de 2025 abaixo de 15%. Isso devolveu à área espaço para medir o progresso.
O progresso veio rápido. Em poucos meses, modelos de raciocínio com ferramentas de busca e agentes de pesquisa profunda passaram de 20%, e no fim de 2025 os melhores sistemas passavam de 40%: o Gemini 3 Deep Think marcou 41% sem ferramentas, e sistemas com ferramentas marcaram mais no subconjunto só de texto. O benchmark virou presença regular nos anúncios de modelos de fronteira e agora tem sucessores, o HLE-Rolling e o HLE-Diamond. Sua trajetória é um dos sinais mais claros da velocidade com que a resposta a perguntas de nível especialista está melhorando.
Em profundidade
Em 2024, os modelos de IA já marcavam cerca de 90% nos benchmarks de conhecimento tradicionais, o que tornava esses testes inúteis para distinguir os melhores modelos. O Humanity's Last Exam foi a resposta. Organizado pelo Center for AI Safety e pela Scale AI e lançado no início de 2025, ele reuniu questões de quase mil especialistas, em sua maioria professores e pesquisadores, de centenas de instituições do mundo todo.
A regra principal: uma questão só era aceita se os principais modelos de IA a errassem. Os colaboradores competiam por um total de 500.000 dólares em prêmios para as melhores submissões.
Como são as questões
As 2.500 questões abrangem mais de cem disciplinas, com a matemática ocupando a maior parte, seguida por biologia e medicina, ciência da computação, física, humanidades, química e engenharia. Os exemplos incluem traduzir uma inscrição antiga, contar características anatômicas específicas de uma determinada família de aves ou resolver um problema de matemática em nível de pesquisa. A maioria exige uma resposta curta e exata, cerca de um quarto é de múltipla escolha e uma minoria inclui uma imagem. Cada uma tem uma resposta verificável que não pode ser encontrada com uma busca rápida na web.
Calibração
O HLE também pede que os modelos declarem sua confiança. Os primeiros resultados mostraram um excesso de confiança grave: os modelos davam respostas erradas alegando alta certeza, com erros de calibração acima de 70% ou 80%. Isso faz do HLE um teste de alucinação além de um teste de conhecimento. Um modelo que sabe o que não sabe é mais útil do que um que chuta com confiança.
Críticas
- Trivia ou inteligência? Muitas questões testam conhecimentos extremamente obscuros. Ir bem mostra amplitude e raciocínio cuidadoso, mas não é o mesmo que fazer o trabalho de um pesquisador.
- Qualidade das respostas: questões na fronteira são difíceis de verificar. Uma revisão independente de 2025 argumentou que uma parcela considerável das respostas de química e biologia conflitava com a literatura publicada. Os mantenedores vêm corrigindo e substituindo questões ao longo do tempo.
- Seleção adversarial: as questões foram filtradas contra modelos específicos de 2024, então as primeiras pontuações refletiam em parte esse filtro, não apenas a dificuldade.
- Ferramentas mudam o teste: um modelo com busca na web está fazendo uma tarefa diferente da de um modelo sem ela, então os resultados deveriam dizer qual foi usada.
- O nome: não será o último exame. Benchmarks mais difíceis, e outros baseados em tarefas longas e abertas, já estão vindo atrás.
Como ler os resultados
Compare coisas equivalentes: mesmo acesso a ferramentas, mesmo esforço de raciocínio. Olhe a calibração junto com a acurácia. E lembre-se de que as questões públicas vão vazar para os dados de treinamento com o tempo; os organizadores mantêm um conjunto privado para detectar modelos que sofreram overfitting no conjunto público.