Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › Desvanecimento do gradiente
Fundamentos

Desvanecimento do gradiente

Também conhecido como: Vanishing Gradients, Explosão do gradiente, Problema do desvanecimento do gradiente
Uma falha de treinamento em que o sinal de aprendizado encolhe até sumir (ou explode) ao viajar para trás por muitas camadas.

Por que isso importa

Boa parte da arquitetura moderna existe para resolver esse único problema. Ativações ReLU, inicialização cuidadosa dos pesos, camadas de normalização, conexões residuais, LSTMs e gradient clipping foram todos, pelo menos em parte, respostas a ele. Entender o desvanecimento do gradiente explica por que um bloco de transformer tem a cara que tem.

Ele também continua sendo um problema prático. Quando um treinamento trava com a perda estagnada, ou morre com NaN depois de algumas centenas de passos, problemas de gradiente estão entre os primeiros suspeitos.

Em profundidade

As redes neurais aprendem por backpropagation: o erro na saída é passado para trás, camada por camada, dizendo a cada peso como mudar. Em cada camada, o sinal é multiplicado pelas derivadas locais daquela camada. Multiplique muitos números menores que 1 e o resultado caminha para zero; as primeiras camadas quase não recebem sinal e param de aprender. Esse é o problema do desvanecimento do gradiente. Multiplique muitos números maiores que 1 e o sinal cresce sem limite, os pesos saltam descontroladamente e a perda vira NaN. Esse é o problema da explosão do gradiente.

Os dois pioram com a profundidade e, durante anos, foram o principal motivo pelo qual redes profundas não funcionavam.

De onde vem

O problema foi identificado no início dos anos 1990 por Sepp Hochreiter e outros, principalmente em redes recorrentes. Uma RNN aplica os mesmos pesos a cada passo de tempo, então fazer backpropagation por 100 passos é como atravessar 100 camadas. As funções de ativação antigas pioravam a situação: a derivada de uma sigmoide é no máximo 0,25, de modo que cada camada encolhe o sinal em pelo menos quatro vezes.

As correções

  • Ativações melhores: a ReLU tem derivada exatamente igual a 1 para entradas positivas, então não encolhe o sinal. GELU e SwiGLU, usadas nos LLMs modernos, se comportam de forma parecida.
  • Inicialização: as inicializações de Xavier e de He escolhem os pesos iniciais para que os sinais mantenham mais ou menos a mesma escala de uma camada para outra.
  • Normalização: batch norm e layer norm recentralizam e reescalam as ativações, mantendo-as em uma faixa saudável.
  • Conexões residuais: somar a entrada de uma camada à sua saída dá aos gradientes um caminho direto para trás. Foi isso que tornou treináveis as redes com mais de 100 camadas, e todos os transformers.
  • Arquiteturas com portas: LSTMs e GRUs deixam a informação fluir ao longo do tempo com pouca perda.
  • Gradient clipping: se o tamanho do gradiente passa de um limite, ele é reduzido. É a correção padrão para explosões, usada em quase todas as receitas de treinamento de LLMs.

Nos modelos de hoje

Os transformers domaram boa parte do problema ao combinar conexões residuais, layer norm e inicialização cuidadosa. Pequenas escolhas ainda importam: colocar a normalização antes de cada subcamada ("pre-norm"), em vez de depois, deixou transformers muito profundos bem mais estáveis. O warmup da taxa de aprendizado também existe, em parte, para evitar atualizações explosivas nos primeiros passos.

Como identificar

Registre a norma do gradiente durante o treinamento. Uma norma que desaba em direção a zero sugere desvanecimento; picos repentinos seguidos de NaN sugerem explosão. As primeiras respostas habituais são baixar a taxa de aprendizado, adicionar ou apertar o gradient clipping, alongar o warmup e conferir as configurações de precisão mista.

← Todos os termos
ESC