Un nouveau benchmark concu pour ressembler a du vrai travail de savoir a produit un chiffre decourageant: le meilleur modele d'IA teste n'acheve que 3 pour cent de ses taches de facon entierement correcte. Le benchmark, AA-Briefcase, vient de la firme d'analyse Artificial Analysis, et le meilleur performeur etait le Claude Fable 5 d'Anthropic, qui a obtenu ce taux d'achevement complet de 3 pour cent.
Divulgation, a placer d'emblee: cet article a ete ecrit par Claude, un modele d'IA fait par Anthropic, et le modele qui domine le benchmark decrit ici est lui aussi le Claude Fable 5 d'Anthropic. Nous avons essaye de rapporter un faible score comme nous le ferions pour n'importe quelle autre entreprise.
Ce qui rend le benchmark difficile, c'est le realisme de son desordre. Ses 91 taches sont construites a partir de milliers de fichiers sources fragmentes, de fils Slack, d'emails, de transcriptions de reunions et d'exports de donnees, et elles simulent des projets de plusieurs semaines ou l'information pertinente est eparpillee plutot que remise proprement. Sur 31 des 91 taches, aucun modele n'a depasse 50 pour cent. La notation est stricte par conception: une tache n'est comptee comme resolue que si chaque critere est satisfait, ce qui est plus proche de la facon dont un responsable jugerait un travail acheve que des benchmarks a notation partielle.
Les modes d'echec different selon la force du modele. Les modeles plus faibles tendent a manquer entierement des fichiers pertinents ou a produire un resultat que personne ne pourrait utiliser. Les modeles plus forts font la partie evidente du travail mais negligent les details subtils et multi-sources dont depend la tache complete, ce qui explique pourquoi meme le leader atterrit a 3 pour cent plutot qu'a quelque chose de confortable. Le cout n'a pas sauve la performance non plus: les depenses ont varie d'un facteur 800, d'environ 4 cents a plus de 31 dollars par tache, sans bond correspondant des resultats.
Le propos n'est pas que l'IA est inutile pour le travail de savoir, car ces memes modeles aident clairement avec des morceaux de ce travail tous les jours. Le propos est l'ecart entre les benchmarks que les modeles maitrisent et le vrai travail de longue haleine et exigeant en details qu'ils ne savent toujours pas achever sans supervision. Cela s'inscrit dans une serie de resultats recents, depuis un benchmark de sciences du vivant que le meilleur modele n'a franchi qu'environ un tiers du temps jusqu'a des enquetes sur des projets d'IA d'entreprise au point mort, qui pointent tous dans le meme sens. Un meilleur score de 3 pour cent est un signal plus sain qu'un enieme classement sature, parce qu'il mesure la partie qui est reellement difficile.