Aller au contenu principal
Zubnet AI › Apprendre › Wiki › Disparition du gradient
Fondamentaux

Disparition du gradient

Aussi appelé : Vanishing Gradients, Explosion du gradient, Problème de disparition du gradient
Un échec d'entraînement où le signal d'apprentissage se réduit à néant (ou explose) en remontant à travers de nombreuses couches.

Pourquoi c'est important

Une grande partie de l'architecture moderne existe pour résoudre ce seul problème. Les activations ReLU, l'initialisation soignée des poids, les couches de normalisation, les connexions résiduelles, les LSTM et le gradient clipping étaient tous, au moins en partie, des réponses à ce problème. Comprendre la disparition du gradient explique pourquoi un bloc de transformer a la forme qu'il a.

C'est aussi un problème encore bien concret. Quand un entraînement stagne avec une perte plate, ou meurt sur un NaN après quelques centaines d'étapes, les problèmes de gradient figurent parmi les premiers suspects.

En profondeur

Les réseaux de neurones apprennent par rétropropagation : l'erreur en sortie est transmise vers l'arrière, couche par couche, pour indiquer à chaque poids comment changer. À chaque couche, le signal est multiplié par les dérivées locales de cette couche. Multipliez beaucoup de nombres inférieurs à 1 et le résultat tend vers zéro ; les premières couches ne reçoivent presque aucun signal et cessent d'apprendre. C'est le problème de la disparition du gradient. Multipliez beaucoup de nombres supérieurs à 1 et le signal grandit sans limite, les poids font des bonds énormes et la perte devient NaN. C'est le problème de l'explosion du gradient.

Les deux s'aggravent avec la profondeur et, pendant des années, ils ont été la principale raison pour laquelle les réseaux profonds ne fonctionnaient pas.

D'où vient le problème

Le problème a été identifié au début des années 1990 par Sepp Hochreiter et d'autres, principalement dans les réseaux récurrents. Un RNN applique les mêmes poids à chaque pas de temps, si bien que rétropropager à travers 100 pas revient à traverser 100 couches. Les anciennes fonctions d'activation aggravaient les choses : la dérivée d'une sigmoïde vaut au plus 0,25, donc chaque couche réduit le signal d'au moins un facteur quatre.

Les remèdes

  • De meilleures activations : ReLU a une dérivée d'exactement 1 pour les entrées positives, elle ne réduit donc pas le signal. GELU et SwiGLU, utilisées dans les LLM modernes, se comportent de façon similaire.
  • L'initialisation : les initialisations de Xavier et de He choisissent les poids de départ pour que les signaux gardent à peu près la même échelle d'une couche à l'autre.
  • La normalisation : batch norm et layer norm recentrent et remettent à l'échelle les activations, pour les garder dans une plage saine.
  • Les connexions résiduelles : ajouter l'entrée d'une couche à sa sortie offre aux gradients un chemin direct vers l'arrière. C'est ce qui a rendu entraînables les réseaux de plus de 100 couches, et tous les transformers.
  • Les architectures à portes : les LSTM et les GRU laissent l'information circuler dans le temps avec peu d'atténuation.
  • Le gradient clipping : si la norme du gradient dépasse un seuil, on la réduit. C'est le remède standard contre les explosions, utilisé dans presque toutes les recettes d'entraînement de LLM.

Dans les modèles d'aujourd'hui

Les transformers ont largement dompté le problème en combinant connexions résiduelles, layer norm et initialisation soignée. De petits choix comptent encore : placer la normalisation avant chaque sous-couche (« pre-norm ») plutôt qu'après a rendu les transformers très profonds beaucoup plus stables. Le warmup du taux d'apprentissage existe aussi en partie pour éviter des mises à jour explosives dans les premières étapes.

Le repérer

Enregistrez la norme du gradient pendant l'entraînement. Une norme qui s'effondre vers zéro suggère une disparition ; des pics soudains suivis de NaN suggèrent une explosion. Les premières réponses habituelles consistent à baisser le taux d'apprentissage, à ajouter ou resserrer le gradient clipping, à allonger le warmup et à vérifier les réglages de précision mixte.

← Tous les termes
ESC