Aller au contenu principal
Zubnet AI › Apprendre › Wiki › Empoisonnement de données
Sécurité

Empoisonnement de données

Aussi appelé : Data Poisoning, Attaque par porte dérobée
Une attaque qui glisse des exemples malveillants dans les données d'entraînement d'un modèle pour y implanter des comportements cachés ou dégrader ses performances.

Pourquoi c'est important

Les LLM sont entraînés sur d'énormes quantités de texte collectées sur le web public, et n'importe qui peut publier sur le web. N'importe qui pourrait donc, en principe, tenter d'influencer ce qu'apprendront les futurs modèles. La recherche a montré que c'est plus praticable qu'on ne le pensait :

  • Une étude de 2023 a montré que des attaquants pouvaient empoisonner des jeux de données d'images populaires à l'échelle du web pour environ 60 $, en rachetant des noms de domaine expirés vers lesquels ces jeux pointaient encore.
  • Une étude de 2025 d'Anthropic, de l'AI Security Institute britannique et de l'Alan Turing Institute a constaté qu'à peine 250 documents empoisonnés suffisaient à implanter une porte dérobée dans des modèles de 600 millions à 13 milliards de paramètres. Le nombre nécessaire restait à peu près constant quand les modèles et les jeux de données grandissaient, au lieu d'augmenter avec la taille des données.

Les données de fine-tuning, les bases de connaissances RAG et les modèles ouverts partagés sont aussi des cibles : les développeurs sont donc exposés à ce risque, pas seulement les grands laboratoires.

En profondeur

Un modèle n'est fiable que dans la mesure où ses données d'apprentissage le sont. L'empoisonnement de données en profite : un attaquant ajoute aux données d'entraînement des exemples soigneusement fabriqués, pour que le modèle final se comporte comme il le souhaite. Parfois, le but est de dégrader le modèle dans son ensemble. Plus souvent, il s'agit d'une porte dérobée (backdoor) : le modèle se comporte normalement jusqu'à ce qu'il voie un déclencheur précis, comme une expression rare, puis fait autre chose : produire du contenu nuisible, divulguer des données ou écrire du code vulnérable.

Comme le déclencheur est secret, un modèle piégé peut réussir parfaitement les tests ordinaires.

Types d'empoisonnement

  • Les portes dérobées : un déclencheur provoque un comportement précis. Les travaux « Sleeper Agents » d'Anthropic en 2024 ont montré que des comportements piégés peuvent survivre à un entraînement de sûreté standard.
  • L'empoisonnement ciblé : faire en sorte que le modèle se trompe sur une chose précise, comme une marque, une personne ou un morceau de code.
  • Les attaques sur la disponibilité : dégrader la qualité du modèle en général.
  • L'empoisonnement par les artistes : des outils comme Nightshade modifient subtilement des images pour que les modèles qui s'entraînent dessus sans autorisation apprennent de mauvaises associations. C'est l'empoisonnement employé comme forme de protestation ou de protection.

Au-delà du pré-entraînement

  • Les jeux de données de fine-tuning : un petit nombre de mauvais exemples dans un jeu partagé peut donner de mauvaises habitudes à un modèle.
  • L'empoisonnement du RAG : placer dans une base de connaissances ou sur le web des documents qu'un système de récupération ira chercher. C'est très proche de l'injection de prompt indirecte.
  • La chaîne d'approvisionnement des modèles : un modèle ou un adaptateur téléchargé peut déjà être piégé. Utilisez des sources de confiance et des formats sûrs comme safetensors.

Défenses

  • La provenance des données : savoir d'où viennent les données d'entraînement, et préférer des sources soignées et fiables.
  • Le filtrage et la déduplication : retirer avant l'entraînement les contenus de mauvaise qualité, répétés ou anormaux.
  • L'évaluation à la recherche de déclencheurs : soumettre les modèles à du red teaming avec des entrées inhabituelles ; des méthodes de détection spécialisées cherchent les signatures de portes dérobées.
  • Pour le RAG : contrôler qui peut écrire dans la base de connaissances, et traiter le contenu récupéré comme une entrée non fiable.
  • Pour le fine-tuning : relire les jeux de données, surtout ceux fournis par la communauté, et tester le modèle ajusté avec vos contrôles de sûreté avant de le déployer.
← Tous les termes
ESC