Apostol Vassilev, un scientifique senior du National Institute of Standards and Technology américain, a publié cette semaine un argument peer-reviewed dans IEEE Security & Privacy avec un titre délibérément las : Robust AI Security and Alignment: A Sisyphean Endeavor? Sa thèse centrale, c'est une preuve que pour tout set fini de guardrails placé sur un modèle IA, il existe un prompt qui amène le modèle à les ignorer. Pas la plupart des sets, pas les sets d'aujourd'hui, tout set fini. La preuve étend à l'IA la logique que Kurt Gödel a publiée en 1931, dont les théorèmes d'incomplétude ont montré que des systèmes formels suffisamment puissants ne peuvent pas être à la fois complets et consistants. Appliqué ici, un set de règles fixe qui défend contre un adversaire adaptatif a le même trou structurel : il y a toujours un input vrai-mais-non-bloqué que les règles n'avaient pas anticipé.
La théorie vient avec un compagnon empirique séparé. Le Trustworthy AI Research Lab de Stanford, travaillant hors du NIST, a mesuré à quel point les clôtures tombent facilement en pratique : des attaques par fine-tuning ont contourné Claude Haiku dans 72 % des cas et GPT-4o dans 57 %. Les guardrails en jeu sont les conséquents, les filtres censés bloquer les deepfakes, le malware, les instructions d'armes biologiques et le guidage de synthèse de drogue. Ça vaut la peine d'être précis sur ce qui est prouvé versus mesuré : le résultat à la Gödel est l'argument formel de Vassilev qu'un contournement universel existe toujours, et les pourcentages sont le décompte d'un autre groupe de combien de fois des attaques spécifiques réussissent aujourd'hui. Les deux, c'est pas le même claim, mais ils pointent dans la même direction.
Cette direction recadre une histoire qu'on a couverte hier. Anthropic a shippé Claude Fable 5 avec un argument de vente de sécurité : plus de 1000 heures de red-teaming externe n'ont trouvé aucun jailbreak universel. Le résultat du NIST dit que l'absence d'un jailbreak trouvé n'est pas l'absence d'un jailbreak, et que la recherche est structurellement jamais finie. C'est pas un argument pour abandonner, c'est un argument contre un fantasme particulier, l'idée que la sécurité est un mur que tu bâtis une fois et derrière lequel tu te tiens ensuite. La prescription de Vassilev est un modèle de sécurité continue à trois pièces mobiles : des red teams qui chassent les nouveaux prompts adverses avant les attaquants, des mises à jour continues qui durcissent les guardrails à mesure que les découvertes atterrissent, et de la résilience opérationnelle qui assume une brèche et priorise limiter les dégâts et récupérer vite, quand, pas si, un exploit passe.
Pour quiconque ship des systèmes agentiques, la conséquence de design est concrète et légèrement inconfortable : budgéter du red-teaming perpétuel, pas une certification one-time, parce qu'un certificat décrit une clôture à un moment et la preuve dit que la clôture est escaladable à chaque moment. C'est aussi le plancher théorique sous l'ombre de sécurité que toute cette semaine a continué de projeter : la vulnérabilité du gateway LiteLLM qui atterrit sur la liste d'exploitation active, le finding que seulement une petite fraction des agents passe une barre de sécurité de base, le code de reconnaissance faciale de Meta trouvé par teardown. Les défenses statiques sur des systèmes adaptatifs sont un tapis roulant, pas une barrière. Le but déclaré de Vassilev, c'est pas l'invulnérabilité, que la preuve exclut, mais l'économie : atteindre un état où le coût de trouver un nouvel exploit dépasse ce que les attaquants sont prêts à dépenser. La sécurité arrête d'être une propriété que tu possèdes et devient un budget que tu continues de remplir.
