Aller au contenu principal
Zubnet AI › Apprendre › Wiki › Désapprentissage machine
Entraînement

Désapprentissage machine

Aussi appelé : Machine Unlearning, Unlearning, LLM Unlearning
Techniques permettant de faire oublier à un modèle entraîné des données ou des connaissances précises sans le réentraîner de zéro.

Pourquoi c'est important

Plusieurs pressions en font un besoin concret :

  • Droit à la vie privée : des règles comme le « droit à l'effacement » du RGPD permettent à chacun d'exiger la suppression de ses données personnelles. On ne sait pas encore clairement si cela s'étend aux modèles entraînés, mais les développeurs veulent avoir une réponse prête.
  • Droit d'auteur : un tribunal ou un accord à l'amiable peut imposer de retirer des œuvres protégées d'un modèle.
  • Sûreté : les laboratoires veulent retirer les connaissances dangereuses, comme les détails qui aideraient à fabriquer des armes biologiques.
  • Réparation : retirer après coup des données empoisonnées, mal étiquetées ou périmées.

En profondeur

Supprimer une ligne dans une base de données est facile. Supprimer ce qu'un réseau de neurones a appris de cette ligne ne l'est pas, car l'information est diluée dans des milliards de poids et mêlée à tout le reste. La seule façon sûre de l'enlever est de réentraîner le modèle sans ces données, ce qui, pour un grand modèle, peut coûter des millions de dollars.

Le désapprentissage machine est la recherche d'une voie moins coûteuse : modifier le modèle existant pour qu'il se comporte comme s'il n'avait jamais vu ces données.

Exact ou approximatif

Le désapprentissage exact garantit un résultat identique à celui d'un réentraînement. L'approche la plus connue, SISA, découpe les données d'entraînement en fragments (shards) et entraîne un sous-modèle distinct sur chacun, si bien que supprimer une donnée revient à ne réentraîner qu'un seul fragment. Cela fonctionne pour des modèles plus petits, mais ne correspond pas à la façon dont les LLM sont entraînés.

Le désapprentissage approximatif modifie directement le modèle entraîné. Méthodes courantes :

  • Montée de gradient : on fait tourner l'entraînement à l'envers sur les données à oublier, en augmentant la perte sur celles-ci, généralement en l'équilibrant avec un entraînement normal sur les données à conserver.
  • Cibles de substitution : on fait un fine-tuning du modèle pour qu'il donne des réponses génériques ou du type « je ne sais pas » sur le sujet oublié. Des chercheurs de Microsoft en ont utilisé une variante en 2023 pour faire en grande partie oublier les livres Harry Potter à un modèle Llama.
  • Méthodes par représentations : on brouille les activations internes du modèle sur le sujet visé pour qu'il ne puisse plus raisonner dessus, comme dans la méthode RMU.

Oublie-t-il vraiment ?

C'est le point faible. La recherche montre régulièrement que le désapprentissage approximatif masque souvent les connaissances au lieu de les effacer :

  • Un peu de fine-tuning sur des données proches peut faire revenir les connaissances « oubliées ».
  • Des jailbreaks et des questions reformulées peuvent les extraire.
  • Une étude de 2024 a montré que la simple quantification d'un modèle passé par le désapprentissage restaurait une bonne partie de ce qu'il était censé avoir perdu.
  • Le désapprentissage cause aussi des dégâts collatéraux : le modèle devient moins bon sur des sujets voisins qu'il devait conserver.

Des benchmarks comme TOFU (profils d'auteurs fictifs), WMDP (connaissances dangereuses) et MUSE testent à la fois l'oubli et les capacités conservées, et aucune méthode n'obtient de bons résultats partout.

Désapprentissage et notions voisines

  • L'édition de connaissances modifie un fait précis (« le PDG est désormais X »). Le désapprentissage, lui, retire.
  • La confidentialité différentielle limite ce qu'un modèle peut mémoriser sur un individu pendant l'entraînement, ce qui prévient le problème en amont.
  • Les filtres de sortie et les garde-fous empêchent le modèle de dire quelque chose sans changer ce qu'il sait.

Conseils pratiques

Si des données risquent de devoir être supprimées plus tard, la conception la plus fiable consiste à les garder hors des poids. Filtrez les données d'entraînement avant l'entraînement, et servez les informations changeantes ou sensibles via le RAG, où supprimer un document le supprime réellement. Considérez les méthodes de désapprentissage actuelles comme une réduction du risque, pas comme une garantie, et testez-les de manière adversariale avant de vous y fier.

← Tous les termes
ESC