Aller au contenu principal
Zubnet AI › Apprendre › Wiki › Régularisation
Entraînement

Régularisation

Aussi appelé : Régularisation L1 / L2
Toute technique qui dissuade un modèle de mémoriser ses données d'entraînement, pour qu'il généralise mieux à de nouvelles données.

Pourquoi c'est important

La régularisation est le principal levier contre le surapprentissage. Sans elle, des réseaux profonds entraînés sur des jeux de données modestes apprendraient souvent parfaitement leurs données d'entraînement et échoueraient sur tout le reste. Presque toutes les recettes d'entraînement en utilisent une forme, et quand vous lisez une configuration de fine-tuning, des paramètres comme weight_decay, dropout et lora_dropout relèvent tous de la régularisation.

C'est aussi un curseur, pas un interrupteur. Trop peu et le modèle surapprend ; trop et il sous-apprend. Régler sa force est l'une des tâches d'ajustement d'hyperparamètres les plus courantes en pratique.

En profondeur

Un modèle qui a assez de capacité peut mémoriser son jeu d'entraînement, bruit et bizarreries compris. La régularisation désigne tout ce que l'on fait pour l'en empêcher et le pousser vers des solutions plus simples et plus générales. Certaines techniques ajoutent une pénalité à la perte, d'autres injectent du bruit, d'autres limitent l'entraînement, et d'autres encore donnent simplement au modèle des données plus variées.

L'idée remonte à un principe plus ancien que le machine learning : quand deux explications collent aux faits, préférez la plus simple.

Par pénalité : L2 et L1

La régularisation L2 ajoute une pénalité proportionnelle au carré de la taille des poids, ce qui les pousse vers de petites valeurs. De gros poids permettent à un modèle de réagir brutalement à de minuscules changements d'entrée, signe typique de mémorisation. La régularisation L1 pénalise la valeur absolue, ce qui tend à mettre beaucoup de poids exactement à zéro et donne des modèles parcimonieux.

Le weight decay est la forme que l'on rencontre en deep learning moderne : à chaque étape, les poids rétrécissent un peu vers zéro. Avec une SGD simple, c'est équivalent à L2, mais pas avec Adam, d'où AdamW, qui applique le weight decay séparément de la mise à jour du gradient. AdamW avec un weight decay d'environ 0,01 à 0,1 est le choix par défaut pour la plupart des entraînements de transformers.

Par bruit : le dropout et ses cousins

Le dropout désactive au hasard une fraction des neurones pendant l'entraînement, pour que le réseau ne puisse dépendre d'aucun chemin unique. Parmi les astuces voisines : la profondeur stochastique (sauter au hasard des couches entières) et le lissage des étiquettes (dire au modèle que la bonne réponse est probable à 90 % plutôt qu'à 100 %, pour qu'il ne devienne pas trop sûr de lui). Le pré-entraînement des grands LLM utilise souvent peu ou pas de dropout : avec des milliers de milliards de tokens, le modèle revoit rarement le même exemple, et le surapprentissage préoccupe moins.

Par les données et par la procédure

L'augmentation de données crée des copies variées des exemples (recadrages, symétries, paraphrases), pour que le modèle apprenne ce qui n'a pas d'importance. L'arrêt précoce stoppe l'entraînement quand la perte de validation cesse de s'améliorer. Même le choix d'une petite taille de batch a un léger effet régularisant, car des gradients plus bruités empêchent le modèle de se fixer sur des solutions trop pointues et trop spécifiques.

La régularisation en fine-tuning

Faire le fine-tuning d'un gros modèle sur un petit jeu de données, c'est là que la régularisation compte le plus pour les développeurs. Les méthodes efficaces en paramètres comme LoRA sont elles-mêmes une forme de régularisation : en n'autorisant que des changements de faible rang, elles limitent la dérive du modèle. Garder peu d'époques (souvent 1 à 3), un taux d'apprentissage modéré et un ensemble de validation à part, ce sont les réglages pratiques par défaut.

← Tous les termes
ESC