Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › Humanity's Last Exam
Treinamento

Humanity's Last Exam

Também conhecido como: HLE
Um benchmark de 2.500 questões escritas por especialistas no limite do conhecimento humano, criado em 2025 especificamente para que os melhores modelos de IA da época fossem reprovados.

Por que isso importa

O HLE zerou o placar. No lançamento, os melhores modelos marcavam um dígito: o GPT-4o em torno de 3%, e os melhores modelos de raciocínio do início de 2025 abaixo de 15%. Isso devolveu à área espaço para medir o progresso.

O progresso veio rápido. Em poucos meses, modelos de raciocínio com ferramentas de busca e agentes de pesquisa profunda passaram de 20%, e no fim de 2025 os melhores sistemas passavam de 40%: o Gemini 3 Deep Think marcou 41% sem ferramentas, e sistemas com ferramentas marcaram mais no subconjunto só de texto. O benchmark virou presença regular nos anúncios de modelos de fronteira e agora tem sucessores, o HLE-Rolling e o HLE-Diamond. Sua trajetória é um dos sinais mais claros da velocidade com que a resposta a perguntas de nível especialista está melhorando.

Em profundidade

Em 2024, os modelos de IA já marcavam cerca de 90% nos benchmarks de conhecimento tradicionais, o que tornava esses testes inúteis para distinguir os melhores modelos. O Humanity's Last Exam foi a resposta. Organizado pelo Center for AI Safety e pela Scale AI e lançado no início de 2025, ele reuniu questões de quase mil especialistas, em sua maioria professores e pesquisadores, de centenas de instituições do mundo todo.

A regra principal: uma questão só era aceita se os principais modelos de IA a errassem. Os colaboradores competiam por um total de 500.000 dólares em prêmios para as melhores submissões.

Como são as questões

As 2.500 questões abrangem mais de cem disciplinas, com a matemática ocupando a maior parte, seguida por biologia e medicina, ciência da computação, física, humanidades, química e engenharia. Os exemplos incluem traduzir uma inscrição antiga, contar características anatômicas específicas de uma determinada família de aves ou resolver um problema de matemática em nível de pesquisa. A maioria exige uma resposta curta e exata, cerca de um quarto é de múltipla escolha e uma minoria inclui uma imagem. Cada uma tem uma resposta verificável que não pode ser encontrada com uma busca rápida na web.

Calibração

O HLE também pede que os modelos declarem sua confiança. Os primeiros resultados mostraram um excesso de confiança grave: os modelos davam respostas erradas alegando alta certeza, com erros de calibração acima de 70% ou 80%. Isso faz do HLE um teste de alucinação além de um teste de conhecimento. Um modelo que sabe o que não sabe é mais útil do que um que chuta com confiança.

Críticas

  • Trivia ou inteligência? Muitas questões testam conhecimentos extremamente obscuros. Ir bem mostra amplitude e raciocínio cuidadoso, mas não é o mesmo que fazer o trabalho de um pesquisador.
  • Qualidade das respostas: questões na fronteira são difíceis de verificar. Uma revisão independente de 2025 argumentou que uma parcela considerável das respostas de química e biologia conflitava com a literatura publicada. Os mantenedores vêm corrigindo e substituindo questões ao longo do tempo.
  • Seleção adversarial: as questões foram filtradas contra modelos específicos de 2024, então as primeiras pontuações refletiam em parte esse filtro, não apenas a dificuldade.
  • Ferramentas mudam o teste: um modelo com busca na web está fazendo uma tarefa diferente da de um modelo sem ela, então os resultados deveriam dizer qual foi usada.
  • O nome: não será o último exame. Benchmarks mais difíceis, e outros baseados em tarefas longas e abertas, já estão vindo atrás.

Como ler os resultados

Compare coisas equivalentes: mesmo acesso a ferramentas, mesmo esforço de raciocínio. Olhe a calibração junto com a acurácia. E lembre-se de que as questões públicas vão vazar para os dados de treinamento com o tempo; os organizadores mantêm um conjunto privado para detectar modelos que sofreram overfitting no conjunto público.

← Todos os termos
ESC