Aller au contenu principal
Zubnet AI › Apprendre › Wiki › Compromis biais-variance
Fondamentaux

Compromis biais-variance

Aussi appelé : Bias-Variance Tradeoff, Dilemme biais-variance
L'équilibre entre un modèle trop simple pour capter les motifs (biais) et un modèle si flexible qu'il court après le bruit (variance).

Pourquoi c'est important

Le compromis biais-variance est le modèle mental derrière la plupart des décisions pratiques d'entraînement : quelle taille de modèle choisir, combien de régularisation ajouter, combien de temps entraîner, et si plus de données aideront. Si votre modèle a un biais élevé, plus de données n'y changeront rien, mais plus de capacité oui. S'il a une variance élevée, plus de données, de la régularisation ou un modèle plus simple aideront.

Il explique aussi pourquoi les ensembles fonctionnent. Faire la moyenne de nombreux modèles à forte variance (comme le font les forêts aléatoires) annule une bonne part de leur bruit individuel tout en gardant leur faible biais.

En profondeur

Toute erreur de prédiction se décompose en trois parts. Le biais est l'erreur due à de mauvaises hypothèses : un modèle trop rigide pour représenter le vrai motif, comme une droite ajustée à une courbe. La variance est l'erreur due à une trop grande sensibilité aux données d'entraînement : entraînez le modèle sur un échantillon légèrement différent et vous obtenez des prédictions très différentes. Le bruit irréductible est le hasard présent dans les données, qu'aucun modèle ne peut éliminer.

Le compromis, c'est qu'en machine learning classique, réduire l'un tend à augmenter l'autre. Les modèles simples ont un biais élevé et une variance faible (ils sous-apprennent). Les modèles complexes ont un biais faible et une variance élevée (ils surapprennent). L'objectif est le juste milieu.

Attention : « biais » est ici un terme statistique. Il n'a rien à voir avec les biais sociaux ou éthiques de l'IA, que le wiki traite à part dans l'entrée Biais.

L'image de la cible

Imaginez un jeu de fléchettes. Biais faible, variance faible : un groupe serré au centre. Biais élevé, variance faible : un groupe serré, mais décalé sur le côté, donc on se trompe avec constance. Biais faible, variance élevée : centré en moyenne, mais éparpillé partout. Biais élevé, variance élevée : éparpillé et décentré. Entraîner un modèle revient à ajuster son lancer, et chaque choix vous fait passer de l'un de ces schémas à un autre.

Diagnostiquer en pratique

  • Biais élevé (sous-apprentissage) : l'erreur d'entraînement est élevée, et l'erreur de validation est à peu près la même.
  • Variance élevée (surapprentissage) : l'erreur d'entraînement est faible, mais l'erreur de validation est bien plus haute.

La validation croisée aide ici : si les scores varient beaucoup d'un pli à l'autre, la variance pose problème.

Le deep learning tord la règle

Les réseaux de neurones modernes ont compliqué l'histoire classique. Les chercheurs ont découvert la double descente : quand on continue d'agrandir un modèle au-delà du point où il peut mémoriser les données d'entraînement, l'erreur de test empire d'abord, puis s'améliore à nouveau. Des réseaux très grands, fortement surparamétrés, généralisent souvent bien alors qu'ils ont la capacité de tout mémoriser. Une partie de l'explication tient à la régularisation implicite : l'entraînement par descente de gradient tend à trouver des solutions simples parmi toutes celles qui collent aux données.

C'est pourquoi les lois d'échelle des LLM ressemblent si peu à la courbe en U des manuels. Pour de grands modèles entraînés sur d'immenses jeux de données rarement répétés, plus grand est généralement mieux, et le principal risque est le sous-entraînement (biais) plutôt que le surapprentissage.

Là où le compromis classique s'applique encore

Le compromis des manuels reste bien vivant quand les données sont rares : problèmes tabulaires, fine-tuning sur quelques centaines d'exemples, classifieurs de niche. Dans ces cas, un modèle plus petit, une forte régularisation ou une simple référence de base battent souvent un gros réseau. Comparez toujours à l'une d'elles avant de viser plus grand.

← Tous les termes
ESC