MMLU
Pourquoi c'est important
Pendant environ quatre ans, MMLU a été le premier chiffre de presque toutes les annonces de modèles et de presque toutes les fiches de modèle. Il offrait un chiffre unique et facile à lire pour répondre à la question « que sait ce modèle ? » dans un large éventail de domaines.
C'est aussi un cas d'école du cycle de vie d'un benchmark. GPT-4 a atteint environ 86 % en 2023, et les modèles de pointe se regroupent autour de 90 % depuis. À ce niveau, les différences entre modèles sont plus petites que le bruit propre au benchmark, et le domaine est passé à des tests plus difficiles. On voit encore MMLU cité, surtout pour les petits modèles et les modèles ouverts, où il continue de séparer les faibles des forts.
En profondeur
MMLU a été publié en 2020 par Dan Hendrycks et ses collègues. Il rassemble des questions tirées de vrais examens et de supports de révision dans 57 matières, des mathématiques élémentaires et de l'histoire des États-Unis à la physique universitaire, au droit professionnel et à la médecine. Chaque question propose quatre réponses possibles, si bien qu'une réponse au hasard obtient 25 %. Le score est simplement le pourcentage de bonnes réponses.
À sa sortie, le meilleur modèle, GPT-3, obtenait environ 44 %, alors que les experts humains étaient estimés autour de 90 %. Cet écart important en a fait un étalon utile pendant des années.
Comment il se déroule
On donne généralement au modèle quelques exemples de questions avec leurs réponses (5-shot), puis la question de test, et il doit produire une lettre, de A à D. Les résultats dépendent de détails comme le format du prompt et la manière dont la réponse est extraite, si bien que les scores publiés par différentes sources ne sont pas toujours comparables.
Problèmes connus
- Saturation : les meilleurs modèles sont au plafond ou tout près.
- Erreurs dans les données : une révision de 2024 appelée MMLU-Redux a revérifié un échantillon et estimé que plus de 6 % des questions contiennent des erreurs, comme des corrigés faux ou des formulations ambiguës. Dans certaines matières, comme la virologie, plus de la moitié des questions vérifiées étaient défectueuses. Un score parfait n'est même pas possible.
- Contamination : les questions sont publiques depuis des années et figurent à coup sûr dans les données d'entraînement.
- Format : le choix multiple récompense la reconnaissance plutôt que la génération, et un modèle peut parfois éliminer des options sans connaître la réponse.
Successeurs
- MMLU-Pro (2024) : environ 12 000 questions avec dix réponses possibles au lieu de quatre et davantage d'accent sur le raisonnement, ce qui a fait redescendre les meilleurs scores.
- GPQA (2023) : 448 questions de niveau master ou doctorat en biologie, physique et chimie, rédigées par des experts du domaine pour être « à l'épreuve de Google ». Des non-experts qualifiés, disposant d'un accès au web et d'une demi-heure par question, n'ont obtenu que 34 %, contre 65 % pour les experts. Son sous-ensemble le plus difficile, GPQA Diamond, est devenu un benchmark standard pour les modèles de raisonnement, et en 2025 les modèles de tête dépassaient le niveau de référence des experts.
- Humanity's Last Exam (2025) : des questions rédigées par des experts et conçues pour que les modèles de pointe de l'époque y échouent.
Comment lire un score MMLU
Voyez-le comme un filtre grossier. Un modèle à 60 % et un modèle à 85 % sont clairement différents. Deux modèles à 88 % et 90 % ne le sont pas, du moins pas sur cette seule base. Pour choisir un modèle pour votre produit, un petit jeu de test construit à partir de vos propres tâches vous en apprend plus que n'importe quel examen de culture générale.