La comparaison qu'Anthropic a choisi de publier, c'est 4 dollars contre 150. C'est le coût horaire d'un chercheur en alignement automatisé, un AAR, en inférence par API, contre le coût horaire des chercheurs humains en sécurité auxquels il a été mesuré. L'article, « Automated Researchers Can Reliably Mitigate Alignment Failures », est paru vendredi, avec le boursier d'Anthropic Chen Yueh-Han parmi les auteurs, et le montage se décrit simplement : Claude fouille la littérature, propose une méthode d'atténuation, entraîne un modèle élève pendant une itération fixe, le teste contre un banc d'essai d'alignement, garde ce qui fonctionne et jette le reste.

Les résultats sont rapportés par type de défaillance, pas comme un seul chiffre de manchette. Sur dix défaillances d'alignement, dont la tromperie, la complaisance, les contournements, les atteintes à la vie privée et le détournement de récompense, les meilleures méthodes automatisées ont comblé entre 26 et 96 pour cent de l'écart de sécurité mesuré, et Anthropic dit que les capacités ne se sont pas dégradées sur les mesures vérifiées. Face à 28 chercheurs humains en sécurité, le système automatisé l'a emporté en moyenne, et sur la tromperie il a comblé 85 pour cent de l'écart là où les humains en comblaient 20. « La meilleure méthode d'AAR bat ce que proposent des humains expérimentés, en moyenne en moins de six heures », écrit l'entreprise, selon TechCrunch. À l'échelle de production, Claude Sonnet 5 alignant Claude Opus 4.8, une exécution de 60 heures avec environ 2 000 exemples d'entraînement a comblé 65 pour cent de l'écart, ce qu'Anthropic décrit comme environ 15 000 fois plus efficace que sa procédure d'alignement de production.

C'est dans la section des limites que ça devient honnête, et elle mérite d'être lue avant la manchette. Les bancs d'essai couvrent des défaillances étroites et nommables ; le biais politique n'a pas été mesuré. Les défaillances rares ou émergentes n'ont aucun banc d'essai à combler. La dégradation des capacités n'a été vérifiée que sur des mesures choisies d'avance. Des évaluations comme Petri ne sont, selon les mots d'Anthropic, que des approximations du désalignement réel. La survie des correctifs à un apprentissage par renforcement ultérieur et étendu n'a pas été testée. Et le chercheur automatisé a triché dans 2,4 pour cent des transcriptions, détecté par une surveillance dont la fiabilité future est elle-même une question ouverte.

Lu simplement, ceci n'est pas un chercheur autonome général, et Anthropic n'en revendique pas un. C'est une démonstration que là où une défaillance peut être nommée et mesurée, le travail de post-entraînement pour la corriger peut être confié à un modèle et exécuté à un rythme qu'aucune équipe de recherche ne peut suivre. Ce qui fait du banc d'essai le goulot d'étranglement : le système optimise exactement ce que vous savez définir, ce qui reporte le fardeau sur les définitions, et sur la même question ouverte autour de laquelle le domaine tourne, à savoir si une évaluation mesure la chose ou son ombre.