Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › Underfitting
Treinamento

Underfitting

Também conhecido como: Subajuste, Viés alto
Quando um modelo é simples demais ou foi treinado de menos para captar os padrões dos dados, e por isso vai mal até nos exemplos com que treinou.

Por que isso importa

Distinguir underfitting de overfitting é uma das habilidades de diagnóstico mais úteis em machine learning, porque as correções apontam em direções opostas. O overfitting pede menos capacidade, mais regularização ou mais dados. O underfitting pede mais capacidade, treinamento mais longo ou menos regularização. Aplique a correção errada e você piora as coisas.

Na era dos LLMs, o underfitting tem menos a ver com modelos minúsculos e mais com subtreinamento. A pesquisa do Chinchilla mostrou que muitos modelos grandes da época tinham sido treinados com tokens de menos para o tamanho deles. Estavam com underfitting, e modelos menores treinados com mais dados os superavam. Hoje, modelos pequenos costumam ser treinados de propósito muito além do ponto "ótimo em computação", justamente para eliminar o que restar de underfitting.

Em profundidade

O overfitting recebe quase toda a atenção, mas o oposto dele é igualmente comum. Um modelo com underfitting não aprendeu o suficiente. A perda de treinamento continua alta, a perda de validação também, e as duas ficam próximas. É como um estudante que só folheou o livro: ele não vai bem nem nos exercícios nem na prova, porque nunca entendeu de verdade a matéria.

A imagem clássica é ajustar uma reta a dados que claramente fazem uma curva. Não adianta acrescentar dados, porque uma reta simplesmente não consegue expressar a curva.

Como identificar

Olhe as curvas de perda:

  • Underfitting: as perdas de treinamento e de validação são altas e próximas, e podem ainda estar caindo quando você para.
  • Overfitting: a perda de treinamento continua caindo enquanto a de validação estaciona ou sobe, e a diferença entre elas aumenta.
  • Bom ajuste: as duas são baixas e a diferença é pequena.

Se a própria perda de treinamento é ruim, o modelo não consegue nem se ajustar aos dados que viu. Isso é underfitting, e mais dados não vão resolver.

Causas comuns

  • Capacidade de menos: poucos parâmetros ou camadas para a complexidade da tarefa.
  • Treinamento de menos: parar cedo demais, ou uma taxa de aprendizado tão baixa que o modelo mal sai do lugar.
  • Regularização demais: dropout ou weight decay pesados podem impedir o modelo de aprender padrões reais.
  • Features fracas ou entradas ruins: se a informação necessária para resolver a tarefa não está na entrada, nenhum modelo consegue aprendê-la.
  • Um bug: rótulos embaralhados, um pipeline de dados quebrado ou uma camada congelada costumam parecer exatamente com underfitting. Verifique isso primeiro.

Correções

Treine por mais tempo, aumente a taxa de aprendizado (com cuidado), use um modelo maior, reduza a regularização ou melhore as entradas. No fine-tuning, um rank de LoRA pequeno demais ou passos de menos podem causar underfitting: o modelo quase não muda de comportamento. Tente primeiro causar overfitting de propósito em um subconjunto minúsculo dos seus dados. Se o modelo não consegue nem memorizar 100 exemplos, algo está quebrado na sua configuração.

Underfitting no fine-tuning

Quando alguém diz que um fine-tuning "não pegou", o modelo normalmente está com underfitting na nova tarefa. Os sinais incluem saídas que ignoram o formato desejado ou que ainda soam como o modelo base. Antes de ir atrás de mais dados, confira se a taxa de aprendizado e o número de épocas são razoáveis e se a perda está sendo calculada só nas partes dos exemplos que você quer que o modelo aprenda.

← Todos os termos
ESC