Aller au contenu principal
Zubnet AI › Apprendre › Wiki › Grokking
Entraînement

Grokking

Aussi appelé : Delayed Generalization, Généralisation différée
Un phénomène d'entraînement où un réseau mémorise d'abord ses données d'entraînement puis, bien plus tard, apprend soudainement la règle générale.

Pourquoi c'est important

Le grokking a remis en question le conseil habituel selon lequel il faut arrêter quand la performance de validation stagne alors que la performance d'entraînement est parfaite. Dans ces expériences, un arrêt précoce aurait fait manquer la vraie solution.

Il a aussi offert aux chercheurs un laboratoire propre pour une question de fond : quand un réseau mémorise-t-il, et quand apprend-il la règle sous-jacente ? Cette question est au cœur du débat sur la capacité des grands modèles à vraiment généraliser, et le grokking est devenu l'un des exemples les plus étudiés en interprétabilité.

En profondeur

En 2022, des chercheurs d'OpenAI ont rapporté quelque chose d'étrange. Ils ont entraîné de petits transformers sur des tâches mathématiques simples comme l'addition modulaire, en ne montrant au réseau qu'une partie de la table complète des réponses. Le réseau a vite atteint 100 % d'exactitude sur les exemples vus, tout en ne faisant pas mieux que le hasard sur le reste : du surapprentissage classique. Mais quand l'entraînement s'est poursuivi bien plus longtemps, parfois mille fois plus longtemps, l'exactitude sur les exemples jamais vus a soudainement bondi à près de 100 %.

Le réseau avait cessé de mémoriser et commencé à comprendre. Les auteurs ont appelé cela le grokking, d'après un mot du roman de Robert Heinlein En terre étrangère (Stranger in a Strange Land) qui signifie comprendre quelque chose si profondément que cela devient une partie de soi. Cela n'a rien à voir avec le modèle Grok de xAI, qui a emprunté le même mot.

Ce qui se passe à l'intérieur

En 2023, Neel Nanda et ses collègues ont fait la rétro-ingénierie d'un réseau qui avait « grokké » l'addition modulaire. Il avait découvert un algorithme fondé sur la trigonométrie, qui représente les nombres comme des rotations autour d'un cercle et les combine avec des identités trigonométriques. Ces travaux décrivent trois phases :

  1. Mémorisation : le réseau stocke les exemples d'entraînement comme une table de correspondance.
  2. Formation du circuit : l'algorithme général se forme lentement à côté de la solution mémorisée, sans changement visible de l'exactitude de test.
  3. Nettoyage : la solution mémorisée est supprimée, et l'exactitude de test bondit soudainement.

La compréhension « soudaine » est donc progressive en coulisses. La courbe ne paraît abrupte que parce que la métrique de test n'enregistre aucun progrès tant que le circuit général n'a pas pris le dessus.

Pourquoi la solution générale l'emporte

L'explication dominante fait intervenir la régularisation. Mémoriser demande des poids grands et complexes, alors que l'algorithme général est plus compact. Le weight decay pénalise en continu les grands poids, et finit donc par favoriser la solution efficace. Sans weight decay, le grokking est souvent beaucoup plus lent ou ne se produit pas. Davantage de données d'entraînement l'accélèrent, et avec assez de données le délai disparaît.

Jusqu'où cela s'étend

Le grokking est le plus net sur de petits jeux de données algorithmiques. Une généralisation différée similaire a été obtenue sur des tâches d'image et de texte dans des conditions particulières, mais les grands modèles de langage ne se comportent pas visiblement ainsi, car ils voient rarement deux fois le même exemple et ne peuvent donc pas mémoriser d'abord. Parmi les effets apparentés figure la double descente, où l'erreur de test monte puis redescend à mesure que les modèles ou le temps d'entraînement grandissent.

Leçons pour les praticiens

  • Ne prolongez pas indéfiniment l'entraînement de modèles réels dans l'espoir qu'ils « grokkent ». Dans un fine-tuning ordinaire sur de petits jeux de données, un écart qui se creuse entre la perte d'entraînement et la perte de validation reste simplement du surapprentissage.
  • Une métrique plate peut cacher des progrès. Les courbes de perte et les chiffres d'exactitude ne montrent pas tout ce qui se passe dans les poids.
  • La régularisation ne fait pas qu'empêcher le surapprentissage ; elle peut changer la solution qu'un réseau trouve.
← Tous les termes
ESC