Underfitting
Por que isso importa
Distinguir underfitting de overfitting é uma das habilidades de diagnóstico mais úteis em machine learning, porque as correções apontam em direções opostas. O overfitting pede menos capacidade, mais regularização ou mais dados. O underfitting pede mais capacidade, treinamento mais longo ou menos regularização. Aplique a correção errada e você piora as coisas.
Na era dos LLMs, o underfitting tem menos a ver com modelos minúsculos e mais com subtreinamento. A pesquisa do Chinchilla mostrou que muitos modelos grandes da época tinham sido treinados com tokens de menos para o tamanho deles. Estavam com underfitting, e modelos menores treinados com mais dados os superavam. Hoje, modelos pequenos costumam ser treinados de propósito muito além do ponto "ótimo em computação", justamente para eliminar o que restar de underfitting.
Em profundidade
O overfitting recebe quase toda a atenção, mas o oposto dele é igualmente comum. Um modelo com underfitting não aprendeu o suficiente. A perda de treinamento continua alta, a perda de validação também, e as duas ficam próximas. É como um estudante que só folheou o livro: ele não vai bem nem nos exercícios nem na prova, porque nunca entendeu de verdade a matéria.
A imagem clássica é ajustar uma reta a dados que claramente fazem uma curva. Não adianta acrescentar dados, porque uma reta simplesmente não consegue expressar a curva.
Como identificar
Olhe as curvas de perda:
- Underfitting: as perdas de treinamento e de validação são altas e próximas, e podem ainda estar caindo quando você para.
- Overfitting: a perda de treinamento continua caindo enquanto a de validação estaciona ou sobe, e a diferença entre elas aumenta.
- Bom ajuste: as duas são baixas e a diferença é pequena.
Se a própria perda de treinamento é ruim, o modelo não consegue nem se ajustar aos dados que viu. Isso é underfitting, e mais dados não vão resolver.
Causas comuns
- Capacidade de menos: poucos parâmetros ou camadas para a complexidade da tarefa.
- Treinamento de menos: parar cedo demais, ou uma taxa de aprendizado tão baixa que o modelo mal sai do lugar.
- Regularização demais: dropout ou weight decay pesados podem impedir o modelo de aprender padrões reais.
- Features fracas ou entradas ruins: se a informação necessária para resolver a tarefa não está na entrada, nenhum modelo consegue aprendê-la.
- Um bug: rótulos embaralhados, um pipeline de dados quebrado ou uma camada congelada costumam parecer exatamente com underfitting. Verifique isso primeiro.
Correções
Treine por mais tempo, aumente a taxa de aprendizado (com cuidado), use um modelo maior, reduza a regularização ou melhore as entradas. No fine-tuning, um rank de LoRA pequeno demais ou passos de menos podem causar underfitting: o modelo quase não muda de comportamento. Tente primeiro causar overfitting de propósito em um subconjunto minúsculo dos seus dados. Se o modelo não consegue nem memorizar 100 exemplos, algo está quebrado na sua configuração.
Underfitting no fine-tuning
Quando alguém diz que um fine-tuning "não pegou", o modelo normalmente está com underfitting na nova tarefa. Os sinais incluem saídas que ignoram o formato desejado ou que ainda soam como o modelo base. Antes de ir atrás de mais dados, confira se a taxa de aprendizado e o número de épocas são razoáveis e se a perda está sendo calculada só nas partes dos exemplos que você quer que o modelo aprenda.