OpenAI a construit une IA dont le seul role est d'attaquer les propres modeles d'OpenAI, et elle se revele d'une efficacite troublante. Baptise GPT-Red, le systeme est un red-teamer automatise qui traque les vulnerabilites d'injection de prompt (prompt injection), et lors des evaluations internes de l'entreprise il a reussi sur 84 pour cent des scenarios d'attaque qu'il n'avait jamais vus auparavant, contre seulement 13 pour cent pour les red-teamers humains sur les memes taches. OpenAI s'est servi de ce que GPT-Red a mis au jour pour renforcer son modele GPT-5.6, et, chose revelatrice, elle a decide de ne pas publier l'attaquant du tout.

La maniere dont il a ete construit constitue une grande partie de l'histoire. GPT-Red a ete entraine par apprentissage par renforcement en self-play, un dispositif dans lequel deux facettes du meme systeme s'affrontent et s'ameliorent l'une grace a l'autre. Un modele attaquant genere des attaques par injection de prompt (prompt injection) toujours plus ingenieuses, la technique qui consiste a pousser un modele a suivre des instructions dissimulees dans le contenu qu'il traite plutot que la veritable requete de l'utilisateur, tandis qu'un modele defenseur apprend a les ignorer. Tour apres tour, les deux se renforcent, et l'attaquant finit par sonder des recoins du comportement du modele auxquels des testeurs humains ne penseraient peut-etre jamais.

Les resultats sont l'essentiel. Laisse libre d'explorer par lui-meme, GPT-Red a decouvert une classe d'attaque qu'OpenAI appelle fake chain of thought (fausse chaine de raisonnement), qui consiste a inserer de fausses etapes de raisonnement que le modele considere comme deja verifiees et auxquelles il se fie donc. Reinjecter ces decouvertes dans l'entrainement a paye de maniere mesurable, des attaques qui fonctionnaient sur l'ancien GPT-5 plus de 90 pour cent du temps reussissent desormais moins de 23 pour cent du temps contre GPT-5.6. En clair, l'attaquant IA a rendu le modele mis en production nettement plus difficile a detourner.

Le plus frappant, c'est la decision de ce qu'il ne faut pas en faire. OpenAI affirme que GPT-Red n'est pas un produit et ne sera pas publie, et qu'il est tenu a l'ecart des modeles que les gens utilisent reellement, afin que les capacites d'attaque qu'il developpe ne puissent pas se retrouver dans la nature. C'est un aveu franc qu'un outil aussi doue pour casser l'IA est dangereux entre de mauvaises mains, et une fenetre claire sur le dilemme a double usage au centre de la securite de l'IA, la meme competence qui corrige un systeme peut etre retournee pour l'ouvrir de force.

L'importance de tout cela depasse un seul modele. L'injection de prompt (prompt injection) figure parmi les problemes non resolus les plus redoutables du domaine, car des agents qui lisent votre courriel, naviguent sur le web ou executent du code peuvent etre detournes par des instructions cachees dans tout ce qu'ils touchent, et s'en defendre a la main est une course que les humains ne cessent de perdre. GPT-Red indique la direction que prennent les choses, laisser l'IA trouver les failles de l'IA plus vite qu'aucune equipe humaine ne le pourrait, puis integrer ces lecons a des defenses plus solides. C'est un signe encourageant que la course a l'armement peut etre menee avec force du cote defensif. C'est aussi un rappel que les outils de securite les plus performants et les outils d'attaque les plus performants ne font de plus en plus qu'un, ce qui est precisement la raison pour laquelle celui-ci est garde sous cle.