Saltar al contenido principal
Zubnet AI › Aprender › Wiki › MMLU
Entrenamiento

MMLU

También conocido como: Massive Multitask Language Understanding, MMLU-Pro, GPQA
Un examen de opción múltiple de unas 16.000 preguntas en 57 materias que fue la medida estándar del conocimiento general de un LLM hasta que los modelos lo saturaron.

Por qué importa

Durante unos cuatro años, MMLU fue el primer número en casi todos los anuncios de modelos y en casi todas las fichas de modelo. Ofrecía una sola cifra fácil de leer para la pregunta «¿cuánto sabe este modelo?» en una amplia variedad de campos.

También es un caso de manual del ciclo de vida de un benchmark. GPT-4 alcanzó cerca del 86 % en 2023, y desde entonces los modelos de frontera se agrupan en torno al 90 %. En ese punto, las diferencias entre modelos son menores que el propio ruido del benchmark, y el campo pasó a pruebas más difíciles. Todavía verás citado MMLU, sobre todo para modelos pequeños y abiertos, donde sigue separando a los débiles de los fuertes.

En profundidad

MMLU fue publicado en 2020 por Dan Hendrycks y sus colegas. Reúne preguntas de exámenes reales y materiales de estudio en 57 materias, desde matemáticas elementales e historia de Estados Unidos hasta física universitaria, derecho profesional y medicina. Cada pregunta tiene cuatro opciones de respuesta, así que responder al azar da un 25 %. La puntuación es simplemente el porcentaje de respuestas correctas.

Cuando salió, el mejor modelo, GPT-3, obtuvo alrededor del 44 %, mientras que a los humanos expertos se les estimaba cerca del 90 %. Esa brecha tan amplia lo convirtió en una vara de medir útil durante años.

Cómo se ejecuta

Normalmente se le dan al modelo unas pocas preguntas de ejemplo con sus respuestas (5-shot) y luego la pregunta de la prueba, y debe responder con una letra, de la A a la D. Los resultados dependen de detalles como el formato del prompt y la forma de extraer la respuesta, así que las puntuaciones que reportan distintas fuentes no siempre son comparables.

Problemas conocidos

  • Saturación: los mejores modelos están en el techo o muy cerca.
  • Errores en los datos: una revisión de 2024 llamada MMLU-Redux volvió a comprobar una muestra y estimó que más del 6 % de las preguntas tienen errores, como claves de respuesta equivocadas o redacción poco clara. En algunas materias, como virología, más de la mitad de las preguntas revisadas eran defectuosas. Ni siquiera es posible una puntuación perfecta.
  • Contaminación: las preguntas llevan años siendo públicas y sin duda están en los datos de entrenamiento.
  • Formato: la opción múltiple premia el reconocimiento por encima de la generación, y a veces un modelo puede descartar opciones sin saber la respuesta.

Sucesores

  • MMLU-Pro (2024): unas 12.000 preguntas con diez opciones de respuesta en lugar de cuatro y más énfasis en el razonamiento, lo que hizo bajar de nuevo las mejores puntuaciones.
  • GPQA (2023): 448 preguntas de nivel de posgrado en biología, física y química, escritas por expertos en la materia para ser «a prueba de Google». Personas capacitadas pero no expertas, con acceso a la web y media hora por pregunta, obtuvieron solo un 34 %, mientras que los expertos obtuvieron un 65 %. Su subconjunto más difícil, GPQA Diamond, se convirtió en un benchmark estándar para modelos de razonamiento, y en 2025 los modelos líderes ya superaban la referencia de los expertos.
  • Humanity's Last Exam (2025): preguntas escritas por expertos y diseñadas para que los modelos de frontera de ese momento las fallaran.

Cómo leer una puntuación de MMLU

Tómala como un filtro aproximado. Un modelo con 60 % y otro con 85 % son claramente distintos. Dos modelos con 88 % y 90 % no lo son, al menos no con esta evidencia. Para elegir un modelo para tu producto, un pequeño conjunto de pruebas construido con tus propias tareas te dice más que cualquier examen de conocimiento general.

← Todos los términos
ESC