Entropie croisée
Pourquoi c'est important
Quand vous suivez un entraînement et voyez « loss: 2.31 », ce nombre est presque toujours une entropie croisée. C'est la quantité que le pré-entraînement et le fine-tuning supervisé font baisser, et le principal signal pour diagnostiquer le surapprentissage et le sous-apprentissage.
Elle explique aussi le comportement des modèles. Comme le logarithme punit sévèrement les erreurs commises avec assurance, les modèles apprennent à répartir la probabilité entre les options plausibles plutôt que de tout miser sur une seule. Cette incertitude calibrée est ce qui fait fonctionner l'échantillonnage, la température et le top-p.
En profondeur
Un modèle de langage ne produit pas un seul mot. Il produit une probabilité pour chaque token de son vocabulaire. L'entropie croisée transforme cela en un score unique en posant une seule question : quelle probabilité avez-vous accordée au token qui est réellement venu ensuite ? La perte est le logarithme négatif de cette probabilité. Donnez au bon token une probabilité de 1 et la perte vaut 0. Donnez-lui 0,5 et la perte vaut environ 0,69. Donnez-lui 0,01 et la perte vaut 4,6.
Faites la moyenne sur des milliards de tokens et vous obtenez l'objectif d'entraînement de GPT, Claude, Llama et de pratiquement tous les autres LLM.
Lire le nombre
L'entropie croisée se mesure en nats (logarithme naturel) ou en bits (logarithme en base 2). Quelques repères aident :
- Un modèle qui devine uniformément sur un vocabulaire de 50 000 tokens a une perte de ln(50 000) ≈ 10,8.
- Une perte de 2,0 signifie que le modèle accorde en moyenne environ 13,5 % de probabilité au bon token (e⁻²).
- La perplexité n'est autre que e élevé à la puissance de la perte. Une perte de 2,0 correspond à une perplexité d'environ 7,4 : le modèle est aussi incertain que s'il choisissait parmi environ 7 tokens également probables.
La perte ne peut jamais atteindre zéro sur du texte réel, car le langage est imprévisible. Personne ne peut savoir avec certitude quel mot vient ensuite.
Pourquoi cette perte
Minimiser l'entropie croisée revient à maximiser la vraisemblance des données d'entraînement, un principe que les statisticiens utilisent depuis un siècle. Elle se marie aussi très bien avec softmax : le gradient par rapport aux logits est simplement la différence entre les probabilités prédites et la vraie réponse, ce qui est peu coûteux et numériquement stable. C'est pourquoi les frameworks combinent les deux en une seule fonction qui prend les logits bruts.
Variantes
- Entropie croisée binaire : la version à deux classes, utilisée pour les classifieurs oui/non et les problèmes multi-étiquettes.
- Label smoothing : remplace la cible stricte par une cible légèrement adoucie (disons 90 % sur la bonne réponse) pour réduire l'excès de confiance.
- Divergence KL : une proche cousine qui mesure l'écart entre deux distributions. La distillation entraîne ainsi un modèle élève à reproduire toute la distribution de sortie d'un modèle professeur.
- Masquage : en fine-tuning, la perte n'est généralement calculée que sur les tokens de la réponse, pas sur le prompt.
Ce qu'elle ne mesure pas
Une entropie croisée plus basse signifie une meilleure prédiction du token suivant, pas forcément un modèle plus utile ou plus véridique. Deux modèles de perte similaire peuvent se comporter très différemment en conversation. C'est pourquoi les courbes de perte sont accompagnées d'évaluations sur des tâches et de relectures humaines, et pourquoi les étapes d'entraînement ultérieures utilisent plutôt des signaux de préférence ou de récompense.