Zubnet AIApprendreWiki › Oubli catastrophique
Entraînement

Oubli catastrophique

Aussi appelé : Interférence catastrophique
Quand un réseau de neurones entraîné sur une nouvelle tâche perd sa capacité à exécuter les tâches précédemment apprises. Ajuster finement un modèle sur des données de service client pourrait le rendre excellent en support mais terrible en programmation. Le nouvel apprentissage écrase les poids qui encodaient les anciennes capacités, les « oubliant ».

Pourquoi c'est important

L'oubli catastrophique est le défi central de l'ajustement fin et de l'apprentissage continu. C'est pourquoi tu ne peux pas simplement continuer à ajuster un modèle sur tâche après tâche en espérant qu'il fasse tout bien. C'est aussi pourquoi des techniques comme LoRA (qui ne modifient qu'un petit sous-ensemble de paramètres) et un choix soigneux du taux d'apprentissage sont critiques pour préserver les capacités du modèle de base.

En profondeur

La cause profonde est le partage de poids : les mêmes paramètres encodent plusieurs capacités, et les mettre à jour pour une nouvelle tâche perturbe les encodages existants. Dans un grand réseau de neurones, la connaissance n'est pas stockée dans des neurones dédiés — elle est distribuée à travers les poids dans des patterns complexes et superposés (superposition). Modifier ces poids pour de nouvelles connaissances perturbe inévitablement les anciennes.

Stratégies d'atténuation

Plusieurs techniques réduisent l'oubli. Des taux d'apprentissage bas pendant l'ajustement fin minimisent les changements de poids. LoRA ajoute de nouveaux paramètres entraînables tout en gardant les poids originaux gelés. Elastic Weight Consolidation (EWC) identifie quels poids sont importants pour les anciennes tâches et pénalise les changements à ceux-ci. Les méthodes de rejeu mélangent des données d'anciennes tâches dans l'entraînement de nouvelles. Aucune ne résout complètement le problème — il y a toujours un compromis entre plasticité (apprendre de nouvelles choses) et stabilité (retenir les anciennes).

Le rêve de l'apprentissage continu

L'apprentissage continu (aussi appelé apprentissage tout au long de la vie) est l'objectif de recherche de construire des modèles qui peuvent continuer à apprendre de nouvelles données sans oublier les anciennes capacités — comme les humains le font. Les LLM actuels contournent cela en s'entraînant une seule fois sur un jeu de données massif puis en s'ajustant finement avec soin. Le véritable apprentissage continu reste un problème ouvert et serait transformateur : imagine un modèle qui continue d'apprendre de chaque conversation sans se dégrader.

Concepts connexes

← Tous les termes
← Optimisation Outils pour développeurs →
ESC