Saltar al contenido principal
Zubnet AI › Aprender › Wiki › Humanity's Last Exam
Entrenamiento

Humanity's Last Exam

También conocido como: HLE
Un benchmark de 2.500 preguntas escritas por expertos en el límite del conocimiento humano, creado en 2025 específicamente para que los mejores modelos de IA del momento lo reprobaran.

Por qué importa

HLE reinició el marcador. En su lanzamiento, los mejores modelos obtenían puntuaciones de un solo dígito: GPT-4o alrededor del 3 %, y los mejores modelos de razonamiento de principios de 2025 menos del 15 %. Eso le devolvió al campo espacio para medir el progreso.

El progreso llegó rápido. En pocos meses, los modelos de razonamiento con herramientas de búsqueda y los agentes de investigación profunda superaron el 20 %, y a finales de 2025 los mejores sistemas superaban el 40 %: Gemini 3 Deep Think obtuvo un 41 % sin herramientas, y los sistemas con herramientas obtuvieron más en el subconjunto de solo texto. El benchmark se volvió una línea habitual en los anuncios de modelos de frontera, y ahora tiene sucesores, HLE-Rolling y HLE-Diamond. Su trayectoria es una de las señales más claras de qué tan rápido mejora la capacidad de responder preguntas de nivel experto.

En profundidad

Para 2024, los modelos de IA obtenían alrededor del 90 % en los benchmarks de conocimiento habituales, lo que volvía inútiles esas pruebas para distinguir a los mejores modelos. Humanity's Last Exam fue la respuesta. Organizado por el Center for AI Safety y Scale AI y publicado a principios de 2025, reunió preguntas de casi mil expertos en distintas materias, en su mayoría profesores e investigadores, de cientos de instituciones de todo el mundo.

La regla clave: una pregunta solo se aceptaba si los principales modelos de IA la respondían mal. Los colaboradores competían por una bolsa de premios de 500.000 dólares para las mejores propuestas.

Cómo son las preguntas

Las 2.500 preguntas abarcan más de cien materias; las matemáticas ocupan la mayor parte, seguidas de biología y medicina, ciencias de la computación, física, humanidades, química e ingeniería. Entre los ejemplos están traducir una inscripción antigua, contar rasgos anatómicos específicos de una familia de aves en particular o resolver un problema matemático de nivel de investigación. La mayoría requiere una respuesta corta y exacta, cerca de una cuarta parte son de opción múltiple y una minoría incluye una imagen. Cada una tiene una respuesta verificable que no se puede encontrar con una búsqueda rápida en la web.

Calibración

HLE también les pide a los modelos que indiquen su nivel de confianza. Los primeros resultados mostraron un exceso de confianza grave: los modelos daban respuestas incorrectas afirmando una gran certeza, con errores de calibración superiores al 70 % u 80 %. Esto convierte a HLE en una prueba de alucinaciones además de una prueba de conocimiento. Un modelo que sabe lo que no sabe es más útil que uno que adivina con seguridad.

Críticas

  • ¿Trivia o inteligencia? Muchas preguntas evalúan conocimiento extremadamente rebuscado. Una buena puntuación demuestra amplitud y razonamiento cuidadoso, pero no es lo mismo que hacer el trabajo de un investigador.
  • Calidad de las respuestas: las preguntas en la frontera son difíciles de verificar. Una revisión independiente de 2025 sostuvo que una parte considerable de las respuestas de química y biología contradecía la literatura publicada. Los responsables han corregido y reemplazado preguntas con el tiempo.
  • Selección adversarial: las preguntas se filtraron contra modelos específicos de 2024, así que las primeras puntuaciones reflejaban en parte ese filtro, no solo la dificultad.
  • Las herramientas cambian la prueba: un modelo con búsqueda web hace una tarea distinta a la de uno sin ella, así que los resultados deberían indicar cuál se usó.
  • El nombre: no será el último examen. Ya vienen detrás benchmarks más difíciles y otros basados en tareas largas y abiertas.

Cómo leer los resultados

Compara lo comparable: el mismo acceso a herramientas, el mismo esfuerzo de razonamiento. Mira la calibración junto con la exactitud. Y recuerda que las preguntas públicas se filtrarán a los datos de entrenamiento con el tiempo; los organizadores mantienen un conjunto privado para detectar modelos que se han sobreajustado al público.

← Todos los términos
ESC