Mesure à quel point les prédictions sont fausses. Pour les LLM : la perte d'entropie croisée = à quel point le modèle est surpris par le vrai prochain token. L'entraînement minimise cette perte.
Pourquoi c'est important
La boussole de l'entraînement. Comprendre la perte aide à interpréter les courbes d'entraînement et à diagnostiquer les problèmes.
En profondeur
Entropie croisée : −log(P(token correct)). Perplexité = exp(perte). La perte n'est pas tout : des modèles alignés peuvent avoir une perte plus élevée tout en étant plus utiles.