Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › Regularização
Treinamento

Regularização

Também conhecido como: Regularização L1 / L2
Qualquer técnica que desestimula um modelo a memorizar os dados de treinamento, para que ele generalize melhor para dados novos.

Por que isso importa

A regularização é a principal alavanca contra o overfitting. Sem ela, redes profundas treinadas com conjuntos de dados modestos muitas vezes aprenderiam os dados de treinamento com perfeição e falhariam em todo o resto. Quase toda receita de treinamento usa alguma forma dela, e quando você lê uma configuração de fine-tuning, parâmetros como weight_decay, dropout e lora_dropout são todos regularização.

Ela também é um botão giratório, não um interruptor. De menos, e o modelo sofre overfitting; demais, e ele sofre underfitting. Ajustar a intensidade da regularização é uma das tarefas de hiperparâmetros mais comuns na prática.

Em profundidade

Um modelo com capacidade suficiente consegue memorizar o conjunto de treinamento, com ruído e esquisitices incluídos. Regularização é o termo geral para tudo o que fazemos para impedir isso e empurrar o modelo para soluções mais simples e mais gerais. Algumas técnicas acrescentam uma penalidade à perda, outras injetam ruído, outras limitam o treinamento e outras simplesmente dão ao modelo dados mais variados.

A ideia vem de um princípio mais antigo que o machine learning: quando duas explicações se encaixam nos fatos, prefira a mais simples.

Por penalidade: L2 e L1

A regularização L2 acrescenta uma penalidade proporcional ao quadrado do tamanho dos pesos, o que os empurra para valores pequenos. Pesos grandes deixam o modelo reagir de forma brusca a mudanças mínimas na entrada, uma marca típica de memorização. A regularização L1 penaliza o valor absoluto, o que tende a levar muitos pesos exatamente a zero e gera modelos esparsos.

O weight decay é a forma que você vai ver no deep learning moderno: a cada passo, os pesos encolhem um pouco em direção a zero. Com SGD simples isso equivale à L2, mas com Adam não, e por isso o AdamW aplica o weight decay separado da atualização do gradiente. AdamW com weight decay em torno de 0,01 a 0,1 é o padrão na maioria dos treinamentos de transformers.

Por ruído: dropout e companhia

O dropout desliga ao acaso uma fração dos neurônios durante o treinamento, para que a rede não possa depender de um único caminho. Truques relacionados incluem a profundidade estocástica (pular camadas inteiras ao acaso) e a suavização de rótulos (dizer ao modelo que a resposta certa tem 90% de chance em vez de 100%, para ele não ficar confiante demais). O pré-treinamento de LLMs grandes costuma usar pouco ou nenhum dropout, porque com trilhões de tokens o modelo raramente vê o mesmo exemplo duas vezes e o overfitting preocupa menos.

Por dados e por procedimento

O aumento de dados cria cópias variadas dos exemplos de treinamento (recortes, espelhamentos, paráfrases), para que o modelo aprenda o que não importa. O early stopping interrompe o treinamento quando a perda de validação para de melhorar. Até a escolha de um batch pequeno tem um leve efeito regularizador, porque gradientes mais ruidosos impedem o modelo de se acomodar em soluções agudas e específicas demais.

Regularização no fine-tuning

Fazer fine-tuning de um modelo grande com um conjunto de dados pequeno é onde a regularização mais importa para quem constrói. Métodos eficientes em parâmetros como o LoRA são, eles mesmos, uma forma de regularização: ao permitir só mudanças de baixo rank, limitam o quanto o modelo pode se desviar. Manter poucas épocas (muitas vezes de 1 a 3), usar uma taxa de aprendizado moderada e separar um conjunto de validação são os padrões práticos.

← Todos os termos
ESC