Aller au contenu principal
Zubnet AI › Apprendre › Wiki › Humanity's Last Exam
Entraînement

Humanity's Last Exam

Aussi appelé : HLE
Un benchmark de 2 500 questions rédigées par des experts aux limites du savoir humain, construit en 2025 précisément pour que les meilleurs modèles d'IA du moment y échouent.

Pourquoi c'est important

HLE a remis les compteurs à zéro. Au lancement, les meilleurs modèles obtenaient des scores à un seul chiffre : GPT-4o autour de 3 %, et les meilleurs modèles de raisonnement du début 2025 moins de 15 %. Cela a redonné au domaine de la marge pour mesurer les progrès.

Les progrès ont été rapides. En quelques mois, des modèles de raisonnement dotés d'outils de recherche et des agents de recherche approfondie ont dépassé 20 %, et fin 2025 les meilleurs systèmes dépassaient 40 % : Gemini 3 Deep Think atteignait 41 % sans outils, et des systèmes avec outils faisaient mieux sur le sous-ensemble purement textuel. Le benchmark s'est mis à figurer régulièrement dans les annonces de modèles de pointe, et il a désormais des successeurs, HLE-Rolling et HLE-Diamond. Sa trajectoire est l'un des signaux les plus clairs de la vitesse à laquelle progresse la réponse aux questions de niveau expert.

En profondeur

En 2024, les modèles d'IA obtenaient environ 90 % aux benchmarks de connaissances habituels, ce qui rendait ces tests inutiles pour départager les meilleurs modèles. Humanity's Last Exam a été la réponse. Organisé par le Center for AI Safety et Scale AI et publié début 2025, il a réuni des questions de près d'un millier d'experts, surtout des professeurs et des chercheurs, issus de centaines d'établissements dans le monde.

La règle clé : une question n'était acceptée que si les principaux modèles d'IA se trompaient. Les contributeurs concouraient pour une dotation de 500 000 $ récompensant les meilleures soumissions.

À quoi ressemblent les questions

Les 2 500 questions couvrent plus d'une centaine de matières, les mathématiques formant la plus grande part, suivies de la biologie et de la médecine, de l'informatique, de la physique, des sciences humaines, de la chimie et de l'ingénierie. Parmi les exemples : traduire une inscription antique, compter des caractéristiques anatomiques précises d'une famille d'oiseaux donnée, ou résoudre un problème de mathématiques de niveau recherche. La plupart demandent une réponse courte et exacte, environ un quart sont à choix multiples, et une minorité comportent une image. Chacune a une réponse vérifiable unique, introuvable par une recherche rapide sur le web.

Calibration

HLE demande aussi aux modèles d'indiquer leur niveau de confiance. Les premiers résultats ont révélé un excès de confiance sévère : les modèles donnaient des réponses fausses en affichant une grande certitude, avec des erreurs de calibration supérieures à 70 % ou 80 %. HLE est donc un test d'hallucination autant qu'un test de connaissances. Un modèle qui sait ce qu'il ne sait pas est plus utile qu'un modèle qui devine avec assurance.

Critiques

  • Érudition ou intelligence ? De nombreuses questions testent des connaissances extrêmement pointues. Un bon score montre de l'étendue et un raisonnement soigné, mais ce n'est pas la même chose que faire le travail d'un chercheur.
  • Qualité des réponses : les questions à la frontière du savoir sont difficiles à vérifier. Une analyse indépendante de 2025 a soutenu qu'une part notable des réponses de chimie et de biologie contredisait la littérature publiée. Les responsables du benchmark ont corrigé et remplacé des questions au fil du temps.
  • Sélection adversariale : les questions ont été filtrées contre des modèles précis de 2024, si bien que les premiers scores reflétaient en partie ce filtre, et pas seulement la difficulté.
  • Les outils changent le test : un modèle doté de la recherche web n'accomplit pas la même tâche qu'un modèle sans, et les résultats devraient donc préciser lequel a été utilisé.
  • Le nom : ce ne sera pas le dernier examen. Des benchmarks plus difficiles, et d'autres fondés sur des tâches longues et ouvertes, suivent déjà.

Lire les résultats

Comparez ce qui est comparable : même accès aux outils, même effort de raisonnement. Regardez la calibration en plus de l'exactitude. Et rappelez-vous que les questions publiques finiront par fuiter dans les données d'entraînement ; les organisateurs conservent un jeu privé pour détecter les modèles qui ont surappris le jeu public.

← Tous les termes
ESC