Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › Tradeoff viés-variância
Fundamentos

Tradeoff viés-variância

Também conhecido como: Bias-Variance Tradeoff, Dilema viés-variância
O equilíbrio entre um modelo simples demais para captar os padrões (viés) e um tão flexível que corre atrás do ruído (variância).

Por que isso importa

O tradeoff viés-variância é o modelo mental por trás da maioria das decisões práticas de treinamento: que tamanho de modelo usar, quanta regularização acrescentar, por quanto tempo treinar e se mais dados vão ajudar. Se o seu modelo tem viés alto, mais dados não resolvem, mas mais capacidade sim. Se tem variância alta, ajudam mais dados, regularização ou modelos mais simples.

Ele também explica por que ensembles funcionam. Tirar a média de muitos modelos de alta variância (como fazem as florestas aleatórias) cancela boa parte do ruído individual deles e mantém o viés baixo.

Em profundidade

Todo erro de previsão pode ser dividido em três partes. O viés é o erro que vem de suposições erradas: um modelo rígido demais para representar o padrão real, como ajustar uma reta a uma curva. A variância é o erro que vem de ser sensível demais aos dados de treinamento específicos: treine o modelo com uma amostra um pouco diferente e você obtém previsões muito diferentes. O ruído irredutível é a aleatoriedade dos dados que nenhum modelo consegue remover.

O tradeoff é que, no machine learning clássico, reduzir um tende a aumentar o outro. Modelos simples têm viés alto e variância baixa (sofrem underfitting). Modelos complexos têm viés baixo e variância alta (sofrem overfitting). O objetivo é o ponto ideal entre os dois.

Atenção: "viés" aqui é um termo estatístico. Não tem relação com viés social ou ético em IA, que a wiki trata à parte na entrada Viés.

A imagem do alvo

Imagine que você está jogando dardos. Viés baixo, variância baixa: um grupo apertado no centro. Viés alto, variância baixa: um grupo apertado, mas deslocado para um lado, então você erra de forma consistente. Viés baixo, variância alta: centrado na média, mas espalhado por toda parte. Viés alto, variância alta: espalhado e fora do centro. Treinar um modelo é como ajustar o arremesso, e cada escolha leva você de um desses padrões para outro.

Diagnóstico na prática

  • Viés alto (underfitting): o erro de treinamento é alto, e o de validação é mais ou menos igual.
  • Variância alta (overfitting): o erro de treinamento é baixo, mas o de validação é bem maior.

A validação cruzada ajuda aqui: se as pontuações variam muito entre as partições, a variância é um problema.

O deep learning entorta a regra

As redes neurais modernas complicaram a história clássica. Pesquisadores encontraram a dupla descida: quando você continua aumentando um modelo além do ponto em que ele consegue memorizar os dados de treinamento, o erro de teste primeiro piora e depois volta a melhorar. Redes muito grandes, fortemente superparametrizadas, costumam generalizar bem apesar de terem capacidade para memorizar tudo. Parte da explicação é a regularização implícita: treinar com descida de gradiente tende a encontrar soluções simples entre as muitas que se encaixam nos dados.

É por isso que as leis de escala dos LLMs são tão diferentes da curva em U dos livros. Em modelos grandes treinados com conjuntos de dados enormes e que quase nunca se repetem, maior costuma ser melhor, e o principal risco é o subtreinamento (viés), não o overfitting.

Onde o tradeoff clássico ainda pesa

O tradeoff dos livros continua bem vivo quando há poucos dados: problemas tabulares, fine-tuning com algumas centenas de exemplos ou classificadores de nicho. Nesses casos, um modelo menor, regularização forte ou uma baseline simples muitas vezes ganham de uma rede grande. Compare sempre com uma delas antes de partir para algo maior.

← Todos os termos
ESC