Taux d'apprentissage
Pourquoi c'est important
Si vous ne pouvez régler qu'un seul hyperparamètre, réglez celui-ci. Un mauvais taux d'apprentissage est la raison la plus fréquente de l'échec d'un entraînement, et cet échec est facile à mal interpréter :
- Trop élevé : la perte bondit, oscille ou devient
NaN. En fine-tuning, le modèle peut oublier ce qu'il savait et se mettre à produire n'importe quoi. - Trop bas : la perte bouge à peine. Un fine-tuning « ne prend pas », et le modèle se comporte exactement comme le modèle de base.
Comme la meilleure valeur varie selon le modèle, la méthode et les données, c'est la première chose à vérifier quand une recette qui a fonctionné pour quelqu'un d'autre ne fonctionne pas pour vous.
En profondeur
Entraîner un réseau de neurones, c'est comme descendre une colline dans le brouillard. Le gradient vous indique dans quelle direction se trouve la pente à partir de l'endroit où vous êtes. Le taux d'apprentissage décide de la distance que vous parcourez dans cette direction avant de vérifier à nouveau. Chaque poids est mis à jour à peu près ainsi : nouveau poids = ancien poids − taux d'apprentissage × gradient.
Faites des pas trop grands et vous dépassez la vallée, en rebondissant d'un versant à l'autre ou en partant complètement ailleurs. Faites des pas trop petits et vous avancez centimètre par centimètre, en gaspillant du calcul, au risque de vous installer dans un mauvais endroit. La bonne valeur se situe entre les deux, et c'est généralement un petit nombre comme 0,0001 (écrit 1e-4).
Valeurs typiques
Ce sont des points de départ avec l'optimiseur AdamW, pas des règles :
- Pré-entraînement d'un LLM à partir de zéro : un pic d'environ 1e-4 à 6e-4.
- Fine-tuning complet d'un modèle pré-entraîné : 1e-5 à 5e-5. Les poids sont déjà bons, donc on avance doucement.
- LoRA et QLoRA : 1e-4 à 2e-4. Les poids de l'adaptateur partent de près de zéro et ont besoin de pas plus grands.
Le SGD simple utilise des valeurs bien plus grandes, comme 0,1, parce qu'il ne remet pas les gradients à l'échelle comme le fait Adam.
Warmup
La plupart des recettes ne démarrent pas au taux d'apprentissage complet. Elles montent progressivement depuis une valeur proche de zéro pendant les premières centaines ou milliers d'étapes. Au début de l'entraînement, les gradients sont grands et erratiques, et les optimiseurs adaptatifs comme Adam n'ont pas encore accumulé de statistiques fiables. Des pas de pleine taille à ce moment-là peuvent projeter le modèle dans une mauvaise région dont il ne se remet jamais. Le warmup est une assurance peu coûteuse, typiquement 1 % à 10 % du total des étapes.
Décroissance
Après le warmup, le taux est généralement abaissé au fil du temps, le plus souvent selon une courbe en cosinus ou une ligne droite. De grands pas font progresser vite au début ; de petits pas permettent des ajustements fins à la fin. L'entrée du wiki sur le planning du taux d'apprentissage présente les options.
Interactions
- Taille de batch : des batchs plus grands donnent des gradients moins bruités et tolèrent des taux d'apprentissage plus élevés. Une règle empirique courante consiste à augmenter le taux quand on augmente le batch.
- Optimiseur : les optimiseurs de la famille Adam adaptent le pas pour chaque poids, ce qui les rend plus indulgents, mais le taux de base compte toujours.
- Weight decay : un réglage distinct qui réduit les poids à chaque étape. Dans AdamW, son effet est lié au taux d'apprentissage.
- Taux par couche : certaines recettes de fine-tuning utilisent des taux plus petits pour les premières couches, qui portent des caractéristiques générales, que pour les suivantes.
Trouver une bonne valeur
Essayez quelques valeurs espacées d'un facteur d'environ 3 (par exemple 1e-5, 3e-5, 1e-4, 3e-4) sur de courts entraînements et comparez les courbes de perte. Un bon taux donne une perte qui baisse vite et régulièrement. La plus grande valeur qui s'entraîne encore de façon stable est souvent proche de la meilleure.