Saltar al contenido principal
Zubnet AI › Aprender › Wiki › Acumulación de gradientes
Entrenamiento

Acumulación de gradientes

También conocido como: Gradient Accumulation, Gradientes acumulados, Tamaño de batch virtual
Un truco de entrenamiento que simula un batch grande con memoria limitada sumando los gradientes de varios batches pequeños antes de actualizar los pesos.

Por qué importa

Es una de las herramientas cotidianas que hacen posible el fine-tuning en hardware de consumo. Aparece en casi todas las configuraciones de entrenamiento como gradient_accumulation_steps. La cantidad que importa para el comportamiento del entrenamiento es el tamaño de batch efectivo:

tamaño de batch efectivo = tamaño de batch por paso × pasos de acumulación × número de GPU

Cuando una guía dice «batch size 32», se refiere al efectivo. Saberlo te permite reproducir en una GPU pequeña una receta pensada para una grande.

En profundidad

El entrenamiento funciona normalmente en un bucle: tomar un batch de ejemplos, calcular los gradientes, actualizar los pesos, repetir. Los batches más grandes dan gradientes más suaves y fiables, pero cada ejemplo de un batch ocupa memoria de GPU. Si en tu GPU solo caben 4 ejemplos y la receta pide 32, tienes un problema.

La acumulación de gradientes lo resuelve. Procesa un batch de 4, calcula sus gradientes, pero no actualices todavía. Procesa otros 4 y suma los gradientes nuevos a los anteriores. Después de 8 de esos mini-batches, los gradientes sumados son los mismos que habría producido un batch de 32. Ahora actualiza los pesos y reinicia. El uso de memoria se mantiene al nivel de 4 ejemplos.

Cómo se ve en código

En PyTorch, los gradientes se suman por defecto hasta que los borras, así que acumular es solo cuestión de cuándo llamas al optimizador:

for i, batch in enumerate(loader):
    loss = model(batch).loss / accum_steps   # scale so the sum is an average
    loss.backward()                          # gradients accumulate
    if (i + 1) % accum_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

Bibliotecas como Hugging Face Transformers lo hacen por ti cuando configuras gradient_accumulation_steps.

Lo que cuesta

La acumulación ahorra memoria, no tiempo. Los 32 ejemplos pasan igualmente por el modelo, solo que de 4 en 4. En hardware donde cabría un batch real de 32, el batch real es más rápido porque aprovecha mejor el paralelismo de la GPU.

Detalles en los que se suele tropezar

  • Los pasos son actualizaciones. Con acumulación, un paso del optimizador abarca varios mini-batches. Los programas de tasa de aprendizaje, el warmup y el registro de métricas suelen contar pasos del optimizador, así que una época tiene menos.
  • Batch normalization. Las capas que calculan estadísticas sobre el batch siguen viendo solo el batch pequeño. Los transformers usan layer normalization, que no se ve afectada.
  • Aprendizaje contrastivo. Los métodos que comparan cada ejemplo de un batch con todos los demás, como CLIP o el entrenamiento de embeddings, no ganan nada con la acumulación, porque los ejemplos de mini-batches distintos nunca se encuentran.
  • Batches sobrantes. Si el tamaño del dataset no es múltiplo del número de acumulaciones, hay que gestionar el último grupo incompleto.

Elegir los valores

Pon el tamaño de batch por paso tan alto como permita la memoria y luego usa la acumulación para llegar al tamaño de batch efectivo que buscas. En el fine-tuning con LoRA de LLM son habituales tamaños efectivos de 16 a 64. La acumulación combina bien con las demás técnicas para ahorrar memoria: gradient checkpointing, precisión mixta y modelos base cuantizados como en QLoRA.

← Todos los términos
ESC