Entropía cruzada
Por qué importa
Cuando observas un entrenamiento y ves «loss: 2.31», ese número casi siempre es entropía cruzada. Es la cantidad que el preentrenamiento y el fine-tuning supervisado empujan hacia abajo, y la señal principal para diagnosticar el sobreajuste y el subajuste.
También explica el comportamiento de los modelos. Como el logaritmo castiga con dureza los errores cometidos con mucha confianza, los modelos aprenden a repartir la probabilidad entre las opciones plausibles en lugar de apostarlo todo a una. Esa incertidumbre calibrada es lo que hace que funcionen el muestreo, la temperatura y el top-p.
En profundidad
Un modelo de lenguaje no produce una sola palabra. Produce una probabilidad para cada token de su vocabulario. La entropía cruzada convierte eso en una única puntuación haciendo una sola pregunta: ¿cuánta probabilidad le diste al token que realmente venía después? La pérdida es el logaritmo negativo de esa probabilidad. Dale al token correcto una probabilidad de 1 y la pérdida es 0. Dale 0,5 y la pérdida es de unos 0,69. Dale 0,01 y la pérdida es 4,6.
Promedia eso sobre miles de millones de tokens y tienes el objetivo de entrenamiento de GPT, Claude, Llama y prácticamente cualquier otro LLM.
Leer el número
La entropía cruzada se mide en nats (logaritmo natural) o en bits (logaritmo en base 2). Algunas referencias ayudan:
- Un modelo que adivina de forma uniforme sobre un vocabulario de 50.000 tokens tiene una pérdida de ln(50.000) ≈ 10,8.
- Una pérdida de 2,0 significa que el modelo da al token correcto alrededor de un 13,5 % de probabilidad de media (e⁻²).
- La perplejidad es simplemente e elevado a la pérdida. Una pérdida de 2,0 equivale a una perplejidad de unos 7,4: el modelo está tan inseguro como si eligiera entre unos 7 tokens igual de probables.
La pérdida nunca puede llegar a cero en texto real, porque el lenguaje es impredecible. Nadie puede saber con certeza qué palabra viene después.
Por qué esta pérdida
Minimizar la entropía cruzada equivale a maximizar la verosimilitud de los datos de entrenamiento, un principio que los estadísticos usan desde hace un siglo. Además encaja muy bien con softmax: el gradiente respecto a los logits es simplemente las probabilidades predichas menos la respuesta verdadera, algo barato y numéricamente estable. Por eso los frameworks combinan ambas en una sola función que recibe los logits en crudo.
Variantes
- Entropía cruzada binaria: la versión de dos clases, usada en clasificadores de sí/no y en problemas multietiqueta.
- Label smoothing: sustituye el objetivo duro por uno ligeramente suavizado (digamos, un 90 % en la respuesta correcta) para reducir el exceso de confianza.
- Divergencia KL: una pariente cercana que mide la distancia entre dos distribuciones. La destilación entrena así a un modelo estudiante para que iguale toda la distribución de salida de un modelo maestro.
- Enmascarado: en el fine-tuning, la pérdida suele calcularse solo sobre los tokens de la respuesta, no sobre el prompt.
Lo que no mide
Una entropía cruzada más baja significa una mejor predicción del siguiente token, no necesariamente un modelo más útil o más veraz. Dos modelos con una pérdida parecida pueden comportarse de forma muy distinta en una conversación. Por eso las curvas de pérdida se acompañan de evaluaciones por tareas y de revisión humana, y por eso las etapas posteriores del entrenamiento usan en su lugar señales de preferencia o de recompensa.