Aller au contenu principal
Zubnet AI › Apprendre › Wiki › Gradient Boosting
Fondamentaux

Gradient Boosting

Aussi appelé : Decision Trees, Arbres de décision, XGBoost, LightGBM, GBDT
Une méthode classique d'apprentissage automatique qui construit de nombreux petits arbres de décision à la suite, chacun corrigeant les erreurs des précédents, et qui reste le meilleur choix pour les données de type tableur.

Pourquoi c'est important

Tous les problèmes d'IA n'ont pas besoin d'un réseau de neurones. Pour les données tabulaires, c'est-à-dire des lignes et des colonnes comme des fiches clients, des transactions, des relevés de capteurs ou des mesures médicales, les arbres boostés par gradient restent le choix par défaut, et ils égalent ou battent régulièrement l'apprentissage profond dans les benchmarks et les compétitions. Ils s'entraînent en quelques secondes ou minutes sur un CPU, demandent peu de préparation des données, gèrent les valeurs manquantes et les colonnes de types variés, et fonctionnent avec quelques milliers de lignes.

Une part énorme de l'apprentissage automatique en production, c'est exactement cela : détection de fraude, score de crédit, prédiction de l'attrition, prévision de la demande, classement de publicités. Si vous avez un tableur et une colonne à prédire, commencez ici, pas avec un LLM.

En profondeur

Un arbre de décision est le modèle le plus lisible de l'apprentissage automatique : un organigramme de questions oui/non (« le revenu dépasse-t-il 50 000 ? », « le compte a-t-il plus de deux ans ? ») qui aboutit à une prédiction. Un arbre seul est faible et surapprend facilement. L'astuce consiste à en combiner beaucoup.

Le gradient boosting construit les arbres l'un après l'autre. Le premier arbre fait une prédiction grossière. Le deuxième est entraîné sur les erreurs du premier, le troisième sur ce qui reste faux, et ainsi de suite pendant des centaines ou des milliers de tours. Chaque arbre est petit, mais leur somme est très précise. La méthode a été formalisée par Jerome Friedman vers 2001, et des bibliothèques comme XGBoost (2014), LightGBM (2016) et CatBoost (2017) l'ont rendue rapide et facile à utiliser.

Deux façons de combiner des arbres

  • Les forêts aléatoires (bagging) : entraîner de nombreux arbres profonds indépendamment, chacun sur un échantillon aléatoire des données et des variables, puis faire la moyenne. La moyenne annule le bruit de chaque arbre. Robuste et difficile à rater.
  • Le gradient boosting : entraîner des arbres peu profonds l'un après l'autre, chacun s'ajustant au gradient de la perte, c'est-à-dire la direction dans laquelle les prédictions actuelles se trompent le plus. Généralement plus précis qu'une forêt aléatoire, mais plus sensible aux réglages.

Les réglages qui comptent

  • Nombre d'arbres et taux d'apprentissage : la contribution de chaque arbre est réduite par le taux d'apprentissage. Un taux plus bas avec plus d'arbres généralise généralement mieux. Utilisez l'arrêt précoce sur un ensemble de validation pour choisir leur nombre.
  • Profondeur des arbres ou nombre de feuilles : détermine la complexité de chaque arbre. Les arbres peu profonds (profondeur de 3 à 8) sont la norme.
  • Sous-échantillonnage : utiliser une fraction aléatoire des lignes et des colonnes pour chaque arbre ajoute de la régularisation.

Pourquoi les arbres battent ici les réseaux de neurones

Les colonnes d'un tableau ont des significations et des échelles très différentes, les motifs importants sont souvent des seuils nets, et beaucoup de colonnes ne servent à rien. Les arbres gèrent ces trois aspects naturellement. Les réseaux de neurones préfèrent les motifs lisses et les grandes entrées homogènes comme les pixels ou les tokens. Des approches plus récentes, comme le modèle de fondation TabPFN pour les petits tableaux, réduisent l'écart dans certains cas, mais les arbres boostés restent la référence à battre.

Voir à l'intérieur

Les arbres offrent une interprétabilité utile : des scores d'importance des variables, et des valeurs SHAP exactes qui expliquent de combien chaque colonne a poussé une prédiction donnée vers le haut ou vers le bas. C'est important dans les usages réglementés comme l'octroi de crédit.

La place des LLM

Les LLM et les arbres boostés se complètent. Un schéma courant consiste à utiliser un LLM ou un modèle d'embedding pour transformer du texte désordonné en variables (une catégorie, un score de sentiment, un embedding), puis à les fournir à un modèle boosté avec les colonnes numériques.

← Tous les termes
ESC