Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › Gradient Boosting
Fundamentos

Gradient Boosting

Também conhecido como: Decision Trees, Árvores de decisão, XGBoost, LightGBM, GBDT
Um método clássico de machine learning que constrói muitas árvores de decisão pequenas em sequência, cada uma corrigindo os erros das anteriores, e que continua sendo a melhor escolha para dados no estilo planilha.

Por que isso importa

Nem todo problema de IA precisa de uma rede neural. Para dados tabulares, ou seja, linhas e colunas como cadastros de clientes, transações, leituras de sensores ou medições médicas, as árvores com gradient boosting continuam sendo o padrão, e com frequência igualam ou superam o deep learning em benchmarks e competições. Elas treinam em segundos ou minutos em uma CPU, exigem pouca preparação de dados, lidam com valores ausentes e colunas de tipos mistos, e funcionam com alguns milhares de linhas.

Uma parte enorme do machine learning em produção é exatamente isso: detecção de fraude, score de crédito, previsão de churn, previsão de demanda, ranqueamento de anúncios. Se você tem uma planilha e uma coluna que quer prever, comece por aqui, não por um LLM.

Em profundidade

Uma árvore de decisão é o modelo mais legível do machine learning: um fluxograma de perguntas de sim ou não ("a renda é maior que 50.000?", "a conta tem mais de dois anos?") que termina em uma previsão. Uma árvore sozinha é fraca e sofre overfitting com facilidade. O truque é combinar muitas delas.

O gradient boosting constrói as árvores uma depois da outra. A primeira árvore faz uma previsão grosseira. A segunda é treinada nos erros da primeira, a terceira no que ainda está errado, e assim por diante por centenas ou milhares de rodadas. Cada árvore é pequena, mas a soma delas é muito precisa. O método foi formalizado por Jerome Friedman por volta de 2001, e bibliotecas como XGBoost (2014), LightGBM (2016) e CatBoost (2017) o tornaram rápido e fácil de usar.

Duas formas de combinar árvores

  • Random forests (bagging): treinar muitas árvores profundas de forma independente, cada uma em uma amostra aleatória dos dados e das features, e tirar a média. A média cancela o ruído das árvores individuais. Robusto e difícil de errar.
  • Gradient boosting: treinar árvores rasas em sequência, cada uma se ajustando ao gradiente da perda, isto é, à direção em que as previsões atuais mais erram. Costuma ser mais preciso que uma random forest, mas é mais sensível às configurações.

Os ajustes que importam

  • Número de árvores e taxa de aprendizado: a contribuição de cada árvore é reduzida pela taxa de aprendizado. Uma taxa menor com mais árvores costuma generalizar melhor. Use parada antecipada em um conjunto de validação para escolher a quantidade.
  • Profundidade da árvore ou número de folhas: controla a complexidade de cada árvore. Árvores rasas (profundidade de 3 a 8) são o usual.
  • Subamostragem: usar uma fração aleatória de linhas e colunas por árvore adiciona regularização.

Por que as árvores vencem as redes neurais aqui

As colunas de uma tabela têm significados e escalas muito diferentes, os padrões importantes costumam ser limiares bem definidos, e muitas colunas são irrelevantes. As árvores lidam com os três pontos naturalmente. As redes neurais preferem padrões suaves e entradas grandes e homogêneas, como pixels ou tokens. Abordagens mais novas, como o modelo de fundação TabPFN para tabelas pequenas, estão diminuindo a diferença em alguns cenários, mas as árvores com boosting continuam sendo a referência a ser batida.

Olhando por dentro

As árvores oferecem uma interpretabilidade útil: pontuações de importância das features e valores SHAP exatos, que explicam quanto cada coluna empurrou uma previsão específica para cima ou para baixo. Isso importa em usos regulados, como a concessão de crédito.

Onde os LLMs entram

LLMs e árvores com boosting se complementam. Um padrão comum é usar um LLM ou um modelo de embedding para transformar texto bagunçado em features (uma categoria, uma pontuação de sentimento, um embedding) e alimentar com elas um modelo com boosting, junto com as colunas numéricas.

← Todos os termos
ESC