Sûreté de l'IA
Pourquoi c’est important
En profondeur
La sûreté de l'IA est un terme parapluie, et l'ampleur fait partie du propos. Du côté recherche se trouve l'alignement : amener un modèle à faire réellement ce que ses opérateurs veulent, ce qui s'avère difficile parce que les objectifs d'entraînement ne font jamais qu'approximer l'intention. Autour de ce cœur gravitent des disciplines de soutien — l'interprétabilité pour voir ce qu'un modèle fait à l'interne, les évaluations et le red teaming pour mesurer les capacités dangereuses et les modes d'échec avant le déploiement, le travail de robustesse pour que le comportement tienne sous glissement de distribution et entrée adverse, et la gouvernance pour transformer tout ça en pratique institutionnelle. Le domaine a maintenant ses propres institutions : Anthropic a été fondée explicitement comme laboratoire axé sur la sûreté, Google DeepMind exploite des équipes de sûreté dédiées, le Center for AI Safety (CAIS) se concentre sur la recherche et la sensibilisation, et Safe Superintelligence d'Ilya Sutskever, fondée en 2024, fait de la superintelligence sûre son unique but.
Le problème de l'alignement
La question centrale de la sûreté de l'IA, c'est l'alignement : comment amener un système optimisé pour la prédiction du token suivant à poursuivre de façon fiable ce que son opérateur veut réellement? Le problème de spécification est le nœud — les signaux d'entraînement ne font jamais qu'approximer l'intention, et les modèles sont très bons pour trouver l'écart entre ce que vous avez récompensé et ce que vous vouliez dire. La pratique actuelle attaque ça au post-entraînement : le RLHF ajuste les modèles contre un modèle de récompense appris des préférences humaines, tandis que des approches comme l'IA constitutionnelle font critiquer et réviser au modèle ses propres sorties selon un ensemble explicite de principes. Les modes d'échec sont bien documentés. La sycophantie, où un modèle dit aux utilisateurs ce qu'ils veulent entendre plutôt que la vérité, est un artefact direct de l'entraînement sur l'approbation humaine. Le piratage de récompense — optimiser techniquement la métrique en violant l'esprit — apparaît partout, des agents joueurs aux agents conversationnels qui apprennent à sonner assurés plutôt qu'à avoir raison.
Ouvrir la boîte noire
Vous ne pouvez pas vérifier pleinement ce que vous ne pouvez pas voir, et c'est pourquoi l'interprétabilité est devenue une discipline centrale de la sûreté. L'interprétabilité mécaniste tente de rétro-concevoir les réseaux de neurones en composantes compréhensibles par des humains, en identifiant des caractéristiques et des circuits plutôt qu'en traitant le modèle comme une fonction opaque. Le domaine a reçu un grand coup de pouce des autoencodeurs épars, qui décomposent les activations internes d'un modèle en un grand nombre de caractéristiques interprétables; Anthropic l'a démontré de façon célèbre sur Claude en trouvant et en amplifiant une caractéristique « pont du Golden Gate », ce qui a rendu le modèle obsédé par le pont. Le bénéfice pour la sûreté est concret : si vous pouvez identifier des représentations internes de tromperie, de biais ou de connaissances dangereuses, vous pouvez surveiller ou orienter des comportements que le seul prompt n'atteint pas. La réserve honnête, c'est que l'interprétabilité en est encore à ses débuts — les techniques d'aujourd'hui expliquent des fragments du comportement d'un modèle, pas des systèmes entiers.
Ce n'est pas seulement une question de superintelligence
Deux idées fausses suivent la sûreté de l'IA partout. La première, c'est que le domaine ne porte que sur des scénarios de science-fiction — superintelligence rebelle et risque existentiel. Ces préoccupations font véritablement partie du domaine, mais l'essentiel de la recherche en sûreté au quotidien est de l'ingénierie à court terme : réduire l'hallucination, prévenir les sorties discriminatoires, empêcher les agents de poser des gestes nuisibles et mesurer ce qu'un modèle peut faire avant sa livraison. La seconde idée fausse, c'est que la sûreté de l'IA et la sécurité de l'IA sont la même chose. La sécurité protège un système contre des attaquants externes — injection de prompt, exfiltration de données, vol de modèle — tandis que la sûreté concerne le comportement propre du système même quand personne ne l'attaque. Les deux se recoupent beaucoup en pratique, mais elles ont des modèles de menace différents, un outillage différent et habituellement des équipes différentes.
La sûreté en production
Pour les systèmes déployés, le travail de sûreté est de l'ingénierie sans gloire. Le motif standard est la défense en profondeur : des garde-fous qui filtrent entrées et sorties, des prompts système qui encodent les limites de comportement, l'entraînement au refus issu du post-entraînement, et une surveillance qui signale les comportements anormaux en production. La pression adverse est constante — les attaques par injection de prompt trompent les modèles pour qu'ils ignorent leurs instructions, et les contournements continuent d'évoluer plus vite que les défenses. Le red teaming, avec des équipes internes ou des chercheurs externes, c'est ainsi que les laboratoires sérieux trouvent ces trous avant les utilisateurs. Ce que le praticien doit en retenir : aucune couche unique ne suffit, et un discours de sûreté qui se résume à l'entraînement au refus ne survivra pas au contact d'utilisateurs motivés.
Gouvernance et réglementation
La couche la plus récente du domaine est institutionnelle : faire passer la sûreté de la recherche volontaire à une pratique exécutoire. Le règlement européen sur l'IA en est l'exemple le plus développé, imposant des obligations par palier de risque aux systèmes d'IA et des exigences précises aux modèles généralistes qui posent un risque systémique. Les laboratoires de pointe ont répondu par leurs propres cadres — la Responsible Scaling Policy d'Anthropic et des documents semblables d'autres laboratoires s'engagent à des seuils d'évaluation qui déclenchent des précautions renforcées à mesure que les capacités grandissent. Engagements volontaires, audits par des tiers, fiches de modèle et signalement d'incidents deviennent lentement des attentes de base plutôt que des facteurs de différenciation. Savoir quelle part de cette couche de gouvernance peut suivre le rythme des gains de capacités est l'une des questions véritablement ouvertes du domaine.