Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › MMLU
Treinamento

MMLU

Também conhecido como: Massive Multitask Language Understanding, MMLU-Pro, GPQA
Um exame de múltipla escolha com cerca de 16.000 questões em 57 disciplinas que foi a medida padrão do conhecimento geral de um LLM até os modelos o saturarem.

Por que isso importa

Por cerca de quatro anos, o MMLU foi o primeiro número em quase todo anúncio de modelo e em quase toda ficha de modelo. Ele oferecia um número único e fácil de ler para a pergunta "quanto este modelo sabe?" em uma ampla gama de áreas.

Também é um caso clássico do ciclo de vida de um benchmark. O GPT-4 chegou a cerca de 86% em 2023, e os modelos de fronteira se agrupam em torno de 90% desde então. Nesse ponto, as diferenças entre modelos são menores que o próprio ruído do benchmark, e a área passou para testes mais difíceis. Você ainda vai ver o MMLU citado, principalmente para modelos pequenos e abertos, nos quais ele continua separando os fracos dos fortes.

Em profundidade

O MMLU foi publicado em 2020 por Dan Hendrycks e colegas. Ele reúne questões de exames reais e materiais de estudo em 57 disciplinas, de matemática elementar e história dos EUA a física universitária, direito profissional e medicina. Cada questão tem quatro alternativas, então o chute aleatório acerta 25%. A pontuação é simplesmente a porcentagem de respostas corretas.

Quando foi lançado, o melhor modelo, o GPT-3, marcou cerca de 44%, enquanto especialistas humanos eram estimados em torno de 90%. Essa diferença grande fez dele uma régua útil por anos.

Como é executado

Em geral, o modelo recebe algumas questões de exemplo com respostas (5-shot) e depois a questão do teste, e precisa responder com uma letra, de A a D. Os resultados dependem de detalhes como o formato do prompt e a forma de extrair a resposta, então pontuações divulgadas por fontes diferentes nem sempre são comparáveis.

Problemas conhecidos

  • Saturação: os melhores modelos estão no teto ou muito perto dele.
  • Erros nos dados: uma revisão de 2024 chamada MMLU-Redux reconferiu uma amostra e estimou que mais de 6% das questões têm erros, como gabaritos errados ou enunciados pouco claros. Em algumas disciplinas, como virologia, mais da metade das questões conferidas tinha falhas. Uma pontuação perfeita nem sequer é possível.
  • Contaminação: as questões são públicas há anos e com certeza estão nos dados de treinamento.
  • Formato: a múltipla escolha premia o reconhecimento em vez da geração, e um modelo às vezes consegue eliminar alternativas sem saber a resposta.

Sucessores

  • MMLU-Pro (2024): cerca de 12.000 questões com dez alternativas em vez de quatro e mais ênfase em raciocínio, o que puxou as melhores pontuações de volta para baixo.
  • GPQA (2023): 448 questões de nível de pós-graduação em biologia, física e química, escritas por especialistas da área para serem "à prova de Google". Pessoas qualificadas, mas não especialistas, com acesso à web e meia hora por questão, acertaram apenas 34%, enquanto os especialistas acertaram 65%. Seu subconjunto mais difícil, o GPQA Diamond, virou um benchmark padrão para modelos de raciocínio, e em 2025 os principais modelos já pontuavam acima da referência dos especialistas.
  • Humanity's Last Exam (2025): questões escritas por especialistas e projetadas para que os modelos de fronteira da época errassem.

Como ler uma pontuação no MMLU

Trate-a como um filtro grosseiro. Um modelo com 60% e um modelo com 85% são claramente diferentes. Dois modelos com 88% e 90% não são, pelo menos não com base nessa evidência. Para escolher um modelo para o seu produto, um pequeno conjunto de testes montado a partir das suas próprias tarefas diz mais do que qualquer exame de conhecimentos gerais.

← Todos os termos
ESC