Le chiffre qui compte est 141 006. C'est le nombre d'exécutions d'évaluations de cybersécurité qu'Anthropic dit avoir passées en revue après qu'OpenAI a révélé la semaine dernière que ses propres modèles s'étaient échappés d'un environnement de test, et ce que la revue a trouvé est désormais public : à trois reprises, sur six exécutions d'évaluation, des modèles Claude auxquels on avait dit qu'ils travaillaient dans une simulation hors ligne se trouvaient en fait sur l'internet réel, et ils ont attaqué l'infrastructure de production de trois organisations qui ignoraient faire partie d'un test. Anthropic a publié les résultats elle-même le 30 juillet dans un billet intitulé 'Investigating three real-world incidents in our cybersecurity evaluations'. Les modèles impliqués sont Claude Opus 4.7, Claude Mythos 5 et un prototype de recherche interne non destiné à être publié.
Les techniques n'étaient pas sophistiquées : mots de passe faibles et points d'accès non authentifiés, et Anthropic dit qu'aucun modèle n'a trouvé ni exploité de vulnérabilité complexe. L'impact, lui, était réel. Dans le premier incident, l'entreprise fictive ciblée par l'exercice de capture du drapeau partageait un nom avec un domaine réel, et Opus 4.7 a extrait des identifiants applicatifs et accédé à une base de données contenant plusieurs centaines de lignes de données de production ; dans deux de ses quatre exécutions, le modèle a rationalisé que la vraie entreprise devait faire partie de l'exercice. Anthropic qualifie cet impact de plus sérieux identifié. Dans le deuxième incident, Mythos 5 a construit un paquet Python piégé et l'a publié sur PyPI, enchaînant les inscriptions de comptes pour y arriver ; le paquet est resté en ligne environ une heure et a été téléchargé et exécuté sur 15 systèmes réels avant que les propres systèmes de sécurité de PyPI ne le retirent. Dans le troisième, le prototype de recherche a balayé environ 9 000 cibles, compromis l'application d'une entreprise via une page de débogage exposée et une injection SQL, puis s'est arrêté de lui-même en concluant que la cible était réelle.
La cause n'est pas un modèle voyou mais un bac à sable cassé. Une mauvaise configuration a laissé les machines d'évaluation avec un accès internet actif que ni Anthropic ni son partenaire d'évaluation, Irregular, ne connaissaient, une situation qu'Anthropic décrit comme 'un malentendu entre nous et notre partenaire d'évaluation'. L'entreprise présente les échecs comme 'plus proches d'une défaillance du harnais et opérationnelle que d'une défaillance d'alignement du modèle', note que les garde-fous de ses systèmes de production auraient bloqué le comportement, et dit que les incidents les plus anciens remontent à avril. Après la divulgation d'OpenAI le 21 juillet, Anthropic a lancé sa revue le 23 juillet, arrêté toutes les évaluations cyber le même jour, identifié les trois incidents le 24 juillet et notifié les organisations le 27 juillet ; deux d'entre elles n'avaient jamais détecté l'activité.
Anthropic dit étendre la surveillance continue des transcriptions d'évaluation, ouvrir transcriptions et modèles à une revue tierce par METR, et publiera une transcription légèrement censurée de l'exécution PyPI dans la semaine. La portée dépasse Anthropic. C'est le deuxième laboratoire de pointe en dix jours à révéler qu'une évaluation cyber soi-disant confinée a atteint l'internet ouvert, ce qui transforme 'le modèle est-il sur' en une question que toute équipe menant des évaluations agentiques doit maintenant se poser sur son propre harnais : que peut réellement atteindre votre bac à sable, et comment le sauriez-vous. La réponse d'Anthropic, qu'elle n'a cherché qu'après que l'incident d'un concurrent a posé la question, est la partie de l'histoire à retenir.