Accumulation de gradient
Pourquoi c'est important
C'est l'un des outils du quotidien qui rendent le fine-tuning possible sur du matériel grand public. Il apparaît dans presque toutes les configurations d'entraînement sous le nom gradient_accumulation_steps. La grandeur qui compte pour le comportement de l'entraînement est la taille de batch effective :
taille de batch effective = taille de batch par étape × étapes d'accumulation × nombre de GPU
Quand un guide dit « batch size 32 », il parle de la taille effective. Le savoir permet de reproduire sur un petit GPU une recette conçue pour un gros.
En profondeur
L'entraînement fonctionne normalement en boucle : prendre un batch d'exemples, calculer les gradients, mettre à jour les poids, recommencer. Des batchs plus grands donnent des gradients plus lisses et plus fiables, mais chaque exemple d'un batch occupe de la mémoire GPU. Si votre GPU ne peut contenir que 4 exemples et que la recette en demande 32, vous avez un problème.
L'accumulation de gradient le résout. Traitez un batch de 4, calculez ses gradients, mais ne mettez pas encore à jour. Traitez-en 4 autres et ajoutez les nouveaux gradients aux anciens. Après 8 mini-batchs de ce type, les gradients additionnés sont les mêmes que ceux qu'aurait produits un batch de 32. Mettez alors à jour les poids et remettez à zéro. La consommation de mémoire reste celle de 4 exemples.
À quoi cela ressemble dans le code
Dans PyTorch, les gradients s'additionnent par défaut tant qu'on ne les efface pas, donc l'accumulation revient simplement à choisir quand appeler l'optimiseur :
for i, batch in enumerate(loader):
loss = model(batch).loss / accum_steps # scale so the sum is an average
loss.backward() # gradients accumulate
if (i + 1) % accum_steps == 0:
optimizer.step()
optimizer.zero_grad()
Des bibliothèques comme Hugging Face Transformers le font pour vous quand vous définissez gradient_accumulation_steps.
Ce que cela coûte
L'accumulation économise de la mémoire, pas du temps. Les 32 exemples passent toujours par le modèle, simplement 4 à la fois. Sur du matériel où un vrai batch de 32 tiendrait, le vrai batch est plus rapide parce qu'il exploite mieux le parallélisme du GPU.
Les détails qui piègent
- Les étapes sont des mises à jour. Avec l'accumulation, une étape d'optimiseur couvre plusieurs mini-batchs. Les plannings de taux d'apprentissage, le warmup et la journalisation comptent généralement les étapes d'optimiseur, donc une époque en contient moins.
- Batch normalization. Les couches qui calculent des statistiques sur le batch ne voient toujours que le petit batch. Les transformers utilisent la layer normalization, qui n'est pas concernée.
- Apprentissage contrastif. Les méthodes qui comparent chaque exemple d'un batch à tous les autres, comme CLIP ou l'entraînement d'embeddings, ne gagnent rien à l'accumulation, parce que les exemples de mini-batchs différents ne se rencontrent jamais.
- Batchs restants. Si la taille du jeu de données n'est pas un multiple du nombre d'accumulations, le dernier groupe incomplet doit être traité à part.
Choisir les valeurs
Fixez la taille de batch par étape aussi haut que la mémoire le permet, puis utilisez l'accumulation pour atteindre la taille de batch effective visée. Pour le fine-tuning LoRA de LLM, des tailles effectives de 16 à 64 sont courantes. L'accumulation se combine bien avec les autres techniques d'économie de mémoire : gradient checkpointing, précision mixte et modèles de base quantifiés comme dans QLoRA.