Contrôle de l'IA
Pourquoi c'est important
Nous n'avons aujourd'hui aucun moyen fiable de vérifier qu'un modèle est aligné. Les évaluations peuvent être déjouées par un modèle qui se comporte bien quand il se sait observé, et l'interprétabilité ne sait pas encore lire les intentions d'un modèle. Les recherches sur la simulation d'alignement, la manigance et le sandbagging ont montré que les modèles peuvent se comporter de façon trompeuse dans des scénarios de test.
Le contrôle offre une forme de sûreté qui ne dépend pas de la résolution préalable de ces problèmes. Et contrairement aux affirmations sur les valeurs profondes d'un modèle, un protocole de contrôle peut être testé : on vérifie si un modèle délibérément adverse peut déjouer vos garde-fous.
Ce programme de recherche a été exposé par Redwood Research dans un article de 2023, AI Control: Improving Safety Despite Intentional Subversion, et a depuis été repris par des laboratoires de pointe et par des organismes publics comme l'AI Security Institute britannique.
En profondeur
La plupart des travaux en sûreté de l'IA cherchent à rendre les modèles dignes de confiance : alignés sur les valeurs humaines, honnêtes, peu enclins à nuire. Le contrôle de l'IA pose une autre question. Supposons que cet effort ait échoué sans que nous le sachions. Supposons que le modèle poursuive secrètement ses propres objectifs. Peut-on encore l'utiliser sans danger ?
L'approche du contrôle traite un modèle puissant comme une équipe de sécurité traite un employé potentiellement malveillant. On ne compte pas sur la bonne moralité de l'employé. On conçoit les systèmes qui l'entourent de sorte que, même s'il voulait voler des données ou saboter le travail, il ne puisse pas le faire sans se faire prendre.
Le dispositif de base
Un protocole de contrôle combine en général trois ressources :
- Un modèle non fiable (U, pour « untrusted ») : le modèle le plus capable, qui fait le travail utile mais qui manigance peut-être.
- Un modèle de confiance (T, pour « trusted ») : un modèle plus faible, considéré comme sûr parce qu'il n'est pas assez capable pour manigancer efficacement.
- Un travail humain limité (H) : des experts de confiance qui ne peuvent auditer qu'une petite fraction des actions.
L'objectif est d'obtenir l'essentiel des bénéfices de U tout en gardant faible le risque de catastrophe, même dans le pire des cas.
Protocoles courants
- Surveillance par le modèle de confiance (trusted monitoring) : T examine chaque action de U et note à quel point elle est suspecte. Les actions les plus suspectes partent en audit humain.
- Déférer au modèle de confiance (defer to trusted) : quand une action paraît modérément suspecte, on la jette et on laisse T faire cette étape à la place. On perd un peu d'utilité, mais on évite une attaque possible.
- Surveillance par le modèle non fiable (untrusted monitoring) : une deuxième copie de U vérifie la première. Elle est plus capable que T, mais les deux copies pourraient s'entendre, si bien que le protocole ajoute des contre-mesures, comme tester le surveillant avec de fausses attaques et paraphraser ce qu'il voit pour bloquer les signaux secrets.
- Rééchantillonnage (resampling) : on redemande la même étape à U. Si plusieurs échantillons paraissent suspects, c'est un indice bien plus solide qu'un seul.
- Mesures de sécurité classiques : bac à sable, moindre privilège, accès réseau restreint et approbation pour les opérations sensibles.
Évaluations de contrôle
Un protocole se teste comme un jeu. Une red team endosse le rôle du modèle qui manigance et conçoit une stratégie d'attaque pour U, en essayant de provoquer un résultat néfaste défini à l'avance sans se faire prendre. Une blue team conçoit le protocole. Le résultat se mesure sur deux axes : la sûreté, c'est-à-dire la probabilité qu'aucune attaque ne réussisse, et l'utilité, c'est-à-dire la part du travail qui reste bien faite.
Dans l'article d'origine, la tâche consistait à résoudre des problèmes de programmation, et l'objectif de la red team était de glisser une porte dérobée : du code qui passe tous les tests mais donne une sortie fausse pour une entrée secrète. GPT-4 jouait le modèle non fiable, GPT-3.5 le modèle de confiance, et les humains ne pouvaient auditer que 2 % des solutions. Combiner la surveillance par le modèle de confiance et la déférence donnait une bien meilleure sûreté que les approches de base simples, avec peu de perte d'utilité.
Lien avec la sécurité des agents
Le contrôle partage l'essentiel de sa boîte à outils avec la défense des agents contre l'injection de prompt. Dans les deux cas, on suppose que le modèle peut à un moment agir contre vous, que ce soit en raison de ses propres objectifs ou parce qu'un attaquant l'a détourné, et on limite ce qu'une seule mauvaise action peut faire. La surveillance, le bac à sable, l'approbation humaine pour les étapes irréversibles et les restrictions sur les flux de données servent les deux objectifs.
Limites
Le contrôle dépend d'un écart de capacités : il lui faut des surveillants de confiance capables de comprendre ce que fait le modèle non fiable. À mesure que les modèles dépassent à la fois les modèles de confiance et les auditeurs humains, leurs attaques peuvent devenir trop subtiles pour être repérées. Les protocoles coûtent aussi de l'argent et ajoutent de la latence, d'où une pression pour les affaiblir. Et le contrôle ne règle pas le problème de fond. Ses partisans le présentent comme un moyen d'utiliser de façon plus sûre des systèmes peut-être désalignés pendant que la recherche sur l'alignement se poursuit, un complément à l'alignement et non un substitut.