OpenAI a construit une IA dont le seul rôle est d'attaquer les propres modèles d'OpenAI, et elle se révèle d'une efficacité troublante. Baptisé GPT-Red, le système est un red-teamer automatisé qui traque les vulnérabilités d'injection de prompt (prompt injection), et lors des évaluations internes de l'entreprise il a réussi sur 84 pour cent des scénarios d'attaque qu'il n'avait jamais vus auparavant, contre seulement 13 pour cent pour les red-teamers humains sur les mêmes tâches. OpenAI s'est servi de ce que GPT-Red a mis au jour pour renforcer son modèle GPT-5.6, et, chose révélatrice, elle a décidé de ne pas publier l'attaquant du tout.

La manière dont il a été construit constitue une grande partie de l'histoire. GPT-Red a été entraîné par apprentissage par renforcement en self-play, un dispositif dans lequel deux facettes du même système s'affrontent et s'améliorent l'une grâce à l'autre. Un modèle attaquant génère des attaques par injection de prompt (prompt injection) toujours plus ingénieuses, la technique qui consiste à pousser un modèle à suivre des instructions dissimulées dans le contenu qu'il traite plutôt que la véritable requête de l'utilisateur, tandis qu'un modèle défenseur apprend à les ignorer. Tour après tour, les deux se renforcent, et l'attaquant finit par sonder des recoins du comportement du modèle auxquels des testeurs humains ne penseraient peut-être jamais.

Les résultats sont l'essentiel. Laissé libre d'explorer par lui-même, GPT-Red a découvert une classe d'attaque qu'OpenAI appelle fake chain of thought (fausse chaîne de raisonnement), qui consiste à insérer de fausses étapes de raisonnement que le modèle considère comme déjà vérifiées et auxquelles il se fie donc. Réinjecter ces découvertes dans l'entraînement a payé de manière mesurable, des attaques qui fonctionnaient sur l'ancien GPT-5 plus de 90 pour cent du temps réussissent désormais moins de 23 pour cent du temps contre GPT-5.6. En clair, l'attaquant IA a rendu le modèle mis en production nettement plus difficile à détourner.

Le plus frappant, c'est la décision de ce qu'il ne faut pas en faire. OpenAI affirme que GPT-Red n'est pas un produit et ne sera pas publié, et qu'il est tenu à l'écart des modèles que les gens utilisent réellement, afin que les capacités d'attaque qu'il développe ne puissent pas se retrouver dans la nature. C'est un aveu franc qu'un outil aussi doué pour casser l'IA est dangereux entre de mauvaises mains, et une fenêtre claire sur le dilemme à double usage au centre de la sécurité de l'IA, la même compétence qui corrige un système peut être retournée pour l'ouvrir de force.

L'importance de tout cela dépasse un seul modèle. L'injection de prompt (prompt injection) figure parmi les problèmes non résolus les plus redoutables du domaine, car des agents qui lisent votre courriel, naviguent sur le web ou exécutent du code peuvent être détournés par des instructions cachées dans tout ce qu'ils touchent, et s'en défendre à la main est une course que les humains ne cessent de perdre. GPT-Red indique la direction que prennent les choses, laisser l'IA trouver les failles de l'IA plus vite qu'aucune équipe humaine ne le pourrait, puis intégrer ces leçons à des défenses plus solides. C'est un signe encourageant que la course à l'armement peut être menée avec force du côté défensif. C'est aussi un rappel que les outils de sécurité les plus performants et les outils d'attaque les plus performants ne font de plus en plus qu'un, ce qui est précisément la raison pour laquelle celui-ci est gardé sous clé.