Aller au contenu principal
Zubnet AI › Apprendre › Wiki › Exemples adverses
Sécurité

Exemples adverses

Aussi appelé : Adversarial Examples, Attaque adverse, Perturbation adverse
Des entrées fabriquées exprès, souvent avec des changements invisibles pour un humain, pour qu'un modèle d'IA donne une sortie fausse ou nuisible.

Pourquoi c'est important

Les exemples adverses ont montré que la bonne précision d'un modèle sur des données normales en dit peu sur son comportement quand quelqu'un cherche activement à le tromper. C'est crucial partout où l'IA prend des décisions touchant à la sécurité ou à la sûreté : voitures autonomes qui lisent les panneaux, reconnaissance faciale, détection de logiciels malveillants, modération de contenu et détection de fraude.

Ils ne se limitent pas au laboratoire. Des chercheurs ont trompé des classifieurs de panneaux avec quelques autocollants sur un stop, fabriqué une tortue imprimée en 3D classée comme un fusil sous presque tous les angles, et conçu des motifs imprimés capables de cacher une personne aux détecteurs d'objets.

Avec les LLM, la même idée revient sous la forme de prompts adverses : des chaînes de texte optimisées pour briser l'entraînement de sûreté d'un modèle.

En profondeur

En 2013, des chercheurs ont découvert quelque chose de troublant à propos des réseaux de neurones : on pouvait prendre une image que le modèle classait correctement, modifier ses pixels d'une quantité trop faible pour être remarquée, et amener le modèle à se tromper avec assurance. Un exemple célèbre de 2014 montrait la photo d'un panda qui, additionnée d'une fine couche de bruit soigneusement calculé, était classée comme un gibbon avec 99 % de confiance. Pour un humain, les deux images étaient identiques.

Ces entrées fabriquées s'appellent des exemples adverses. Elles fonctionnent parce que les modèles s'appuient sur des motifs que les humains ne perçoivent pas, et qu'un attaquant peut pousser exactement sur ces motifs.

Comment on fabrique les attaques

  • Les attaques en boîte blanche : si l'on dispose des poids du modèle, on peut calculer le gradient de sa sortie par rapport à l'entrée et pousser l'entrée dans la direction qui augmente le plus l'erreur. La méthode FGSM (Fast Gradient Sign Method) le fait en une étape ; des méthodes plus fortes comme PGD font de nombreux petits pas.
  • Les attaques en boîte noire : sans les poids, les attaquants interrogent le modèle à répétition, ou fabriquent des exemples sur un modèle similaire qu'ils contrôlent. Les exemples adverses se transfèrent souvent : celui qui trompe un modèle en trompe fréquemment d'autres.
  • Les attaques physiques : des perturbations conçues pour survivre à l'impression, aux changements d'éclairage et aux différents angles de vue.

Les attaques adverses contre les LLM

En 2023, des chercheurs ont présenté une méthode automatisée (souvent appelée GCG) qui cherche un court suffixe de tokens d'allure incohérente qui, ajouté à une demande nuisible, fait obéir des modèles alignés. Les suffixes trouvés sur des modèles ouverts fonctionnaient aussi sur certains modèles fermés. Depuis, les attaques vont des tokens optimisés aux images contenant des instructions cachées pour les modèles multimodaux. Cela recoupe le jailbreak et l'injection de prompt, même si ceux-ci sont souvent écrits à la main plutôt que calculés.

Défenses

  • L'entraînement adverse : inclure des exemples adverses dans l'entraînement pour que le modèle apprenne à y résister. C'est la méthode générale la plus efficace, mais elle coûte cher et peut réduire la précision sur les entrées normales.
  • La robustesse certifiée : des garanties mathématiques qu'aucun changement dans une petite marge ne peut inverser la sortie. Solide, mais praticable seulement pour de petits changements et des modèles plus petits.
  • Le prétraitement et la détection des entrées : filtrer ou transformer les entrées pour détruire les perturbations. Beaucoup de ces défenses ont ensuite été cassées par des attaques adaptatives.
  • La conception du système : ne pas laisser la sortie d'un seul modèle être l'unique garde-fou des décisions à fort enjeu ; la combiner à d'autres vérifications.

La grande leçon

Aucune défense largement utilisée ne rend les modèles pleinement robustes. Les exemples adverses rappellent que les modèles voient le monde autrement que les humains, et que la sécurité consiste à tester face à un adversaire qui réfléchit, pas seulement sur des données typiques.

← Tous les termes
ESC