Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › Taxa de aprendizado
Treinamento

Taxa de aprendizado

Também conhecido como: Learning Rate, LR, Tamanho do passo
O número que define o tamanho do passo que o otimizador dá a cada atualização, e o hiperparâmetro de treinamento mais importante de todos.

Por que isso importa

Se você só puder ajustar um hiperparâmetro, ajuste este. Uma taxa de aprendizado errada é o motivo mais comum de um treinamento falhar, e a falha é fácil de interpretar mal:

  • Alta demais: a perda dispara, oscila ou vira NaN. No fine-tuning, o modelo pode esquecer o que sabia e começar a produzir lixo.
  • Baixa demais: a perda mal se mexe. O fine-tuning "não pega", e o modelo se comporta igualzinho ao modelo base.

Como o melhor valor muda conforme o modelo, o método e os dados, é a primeira coisa a conferir quando uma receita que funcionou para outra pessoa não funciona para você.

Em profundidade

Treinar uma rede neural é como descer um morro na neblina. O gradiente diz em que direção fica a descida a partir de onde você está. A taxa de aprendizado decide quanto você anda nessa direção antes de conferir de novo. Cada peso é atualizado mais ou menos assim: novo peso = peso antigo − taxa de aprendizado × gradiente.

Dê passos grandes demais e você passa do vale, quicando de um lado para o outro ou saindo voando de vez. Dê passos pequenos demais e você avança a passos de formiga, desperdiçando computação, e pode acabar parando em um ponto ruim. O valor certo fica em algum lugar no meio, e geralmente é um número pequeno como 0,0001 (escrito 1e-4).

Valores típicos

Estes são pontos de partida com o otimizador AdamW, não regras:

  • Pré-treinamento de um LLM do zero: pico em torno de 1e-4 a 6e-4.
  • Fine-tuning completo de um modelo pré-treinado: de 1e-5 a 5e-5. Os pesos já são bons, então mexa com delicadeza.
  • LoRA e QLoRA: de 1e-4 a 2e-4. Os pesos do adaptador começam perto de zero e precisam de passos maiores.

O SGD simples usa valores bem maiores, como 0,1, porque não reescala os gradientes como o Adam faz.

Warmup

A maioria das receitas não começa na taxa de aprendizado cheia. Elas sobem a partir de quase zero ao longo das primeiras centenas ou milhares de passos. No início do treinamento, os gradientes são grandes e erráticos, e otimizadores adaptativos como o Adam ainda não reuniram estatísticas confiáveis. Passos de tamanho cheio nesse momento podem jogar o modelo em uma região ruim da qual ele nunca se recupera. O warmup é um seguro barato, normalmente de 1% a 10% do total de passos.

Decaimento

Depois do warmup, a taxa costuma ser reduzida ao longo do tempo, mais comumente seguindo uma curva cosseno ou uma linha reta. Passos grandes avançam rápido no começo; passos pequenos permitem ajustes finos no final. O verbete Learning Rate Schedule da wiki cobre as opções.

Interações

  • Tamanho do batch: batches maiores dão gradientes menos ruidosos e toleram taxas de aprendizado mais altas. Uma regra prática comum é aumentar a taxa quando você aumenta o batch.
  • Otimizador: os otimizadores da família Adam adaptam o passo para cada peso, o que os torna mais tolerantes, mas a taxa base continua importando.
  • Weight decay: uma configuração separada que encolhe os pesos a cada passo. No AdamW, o efeito dela está ligado à taxa de aprendizado.
  • Taxas por camada: algumas receitas de fine-tuning usam taxas menores para as camadas iniciais, que guardam features gerais, do que para as posteriores.

Encontrando um bom valor

Teste alguns valores espaçados por fatores de mais ou menos 3 (por exemplo, 1e-5, 3e-5, 1e-4, 3e-4) em treinamentos curtos e compare as curvas de perda. Uma boa taxa dá uma perda que cai rápido e de forma suave. O maior valor que ainda treina de forma estável costuma ficar perto do melhor.

← Todos os termos
ESC