Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › Acumulação de gradientes
Treinamento

Acumulação de gradientes

Também conhecido como: Gradient Accumulation, Gradientes acumulados, Tamanho de batch virtual
Um truque de treinamento que simula um batch grande com memória limitada somando os gradientes de vários batches pequenos antes de atualizar os pesos.

Por que isso importa

Essa é uma das ferramentas do dia a dia que tornam o fine-tuning possível em hardware doméstico. Ela aparece em quase toda configuração de treinamento como gradient_accumulation_steps. A quantidade que importa para o comportamento do treinamento é o tamanho de batch efetivo:

tamanho de batch efetivo = tamanho de batch por passo × passos de acumulação × número de GPUs

Quando um guia diz "batch size 32", ele se refere ao efetivo. Saber disso permite reproduzir em uma GPU pequena uma receita pensada para uma GPU grande.

Em profundidade

O treinamento normalmente funciona em um loop: pegar um batch de exemplos, calcular os gradientes, atualizar os pesos, repetir. Batches maiores dão gradientes mais suaves e confiáveis, mas cada exemplo de um batch ocupa memória da GPU. Se a sua GPU comporta só 4 exemplos e a receita pede 32, você tem um problema.

A acumulação de gradientes resolve isso. Processe um batch de 4, calcule os gradientes, mas não atualize ainda. Processe mais 4 e some os novos gradientes aos antigos. Depois de 8 desses mini-batches, os gradientes somados são os mesmos que um batch de 32 teria produzido. Agora atualize os pesos e zere tudo. O uso de memória fica no nível de 4 exemplos.

Como fica no código

No PyTorch, os gradientes se somam por padrão até você limpá-los, então acumular é só uma questão de quando chamar o otimizador:

for i, batch in enumerate(loader):
    loss = model(batch).loss / accum_steps   # scale so the sum is an average
    loss.backward()                          # gradients accumulate
    if (i + 1) % accum_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

Bibliotecas como a Hugging Face Transformers fazem isso por você quando você define gradient_accumulation_steps.

Quanto custa

A acumulação economiza memória, não tempo. Os 32 exemplos ainda passam pelo modelo, só que 4 de cada vez. Em um hardware em que um batch real de 32 coubesse, o batch real é mais rápido, porque aproveita melhor o paralelismo da GPU.

Detalhes que confundem

  • Passos são atualizações. Com acumulação, um passo do otimizador cobre vários mini-batches. Os schedules de taxa de aprendizado, o warmup e os logs costumam contar passos do otimizador, então uma época tem menos passos.
  • Batch normalization. Camadas que calculam estatísticas sobre o batch continuam vendo apenas o batch pequeno. Os transformers usam layer normalization, que não é afetada.
  • Aprendizado contrastivo. Métodos que comparam cada exemplo de um batch com todos os outros, como no CLIP ou no treinamento de embeddings, não ganham nada com a acumulação, porque exemplos de mini-batches diferentes nunca se encontram.
  • Batches que sobram. Se o tamanho do dataset não for múltiplo do número de acumulações, o último grupo incompleto precisa de tratamento.

Escolhendo os valores

Defina o tamanho de batch por passo no máximo que a memória permitir e depois use a acumulação para chegar ao tamanho de batch efetivo desejado. No fine-tuning de LLMs com LoRA, tamanhos efetivos de 16 a 64 são comuns. A acumulação combina bem com as outras técnicas de economia de memória: gradient checkpointing, precisão mista e modelos base quantizados, como no QLoRA.

← Todos os termos
ESC