Saltar al contenido principal
Zubnet AI › Aprender › Wiki › Entropía cruzada
Fundamentos

Entropía cruzada

También conocido como: Cross-Entropy, Pérdida de entropía cruzada, Log Loss, Log-verosimilitud negativa
La función de pérdida con la que se entrenan casi todos los modelos de lenguaje, que penaliza al modelo según la poca probabilidad que dio a la respuesta correcta.

Por qué importa

Cuando observas un entrenamiento y ves «loss: 2.31», ese número casi siempre es entropía cruzada. Es la cantidad que el preentrenamiento y el fine-tuning supervisado empujan hacia abajo, y la señal principal para diagnosticar el sobreajuste y el subajuste.

También explica el comportamiento de los modelos. Como el logaritmo castiga con dureza los errores cometidos con mucha confianza, los modelos aprenden a repartir la probabilidad entre las opciones plausibles en lugar de apostarlo todo a una. Esa incertidumbre calibrada es lo que hace que funcionen el muestreo, la temperatura y el top-p.

En profundidad

Un modelo de lenguaje no produce una sola palabra. Produce una probabilidad para cada token de su vocabulario. La entropía cruzada convierte eso en una única puntuación haciendo una sola pregunta: ¿cuánta probabilidad le diste al token que realmente venía después? La pérdida es el logaritmo negativo de esa probabilidad. Dale al token correcto una probabilidad de 1 y la pérdida es 0. Dale 0,5 y la pérdida es de unos 0,69. Dale 0,01 y la pérdida es 4,6.

Promedia eso sobre miles de millones de tokens y tienes el objetivo de entrenamiento de GPT, Claude, Llama y prácticamente cualquier otro LLM.

Leer el número

La entropía cruzada se mide en nats (logaritmo natural) o en bits (logaritmo en base 2). Algunas referencias ayudan:

  • Un modelo que adivina de forma uniforme sobre un vocabulario de 50.000 tokens tiene una pérdida de ln(50.000) ≈ 10,8.
  • Una pérdida de 2,0 significa que el modelo da al token correcto alrededor de un 13,5 % de probabilidad de media (e⁻²).
  • La perplejidad es simplemente e elevado a la pérdida. Una pérdida de 2,0 equivale a una perplejidad de unos 7,4: el modelo está tan inseguro como si eligiera entre unos 7 tokens igual de probables.

La pérdida nunca puede llegar a cero en texto real, porque el lenguaje es impredecible. Nadie puede saber con certeza qué palabra viene después.

Por qué esta pérdida

Minimizar la entropía cruzada equivale a maximizar la verosimilitud de los datos de entrenamiento, un principio que los estadísticos usan desde hace un siglo. Además encaja muy bien con softmax: el gradiente respecto a los logits es simplemente las probabilidades predichas menos la respuesta verdadera, algo barato y numéricamente estable. Por eso los frameworks combinan ambas en una sola función que recibe los logits en crudo.

Variantes

  • Entropía cruzada binaria: la versión de dos clases, usada en clasificadores de sí/no y en problemas multietiqueta.
  • Label smoothing: sustituye el objetivo duro por uno ligeramente suavizado (digamos, un 90 % en la respuesta correcta) para reducir el exceso de confianza.
  • Divergencia KL: una pariente cercana que mide la distancia entre dos distribuciones. La destilación entrena así a un modelo estudiante para que iguale toda la distribución de salida de un modelo maestro.
  • Enmascarado: en el fine-tuning, la pérdida suele calcularse solo sobre los tokens de la respuesta, no sobre el prompt.

Lo que no mide

Una entropía cruzada más baja significa una mejor predicción del siguiente token, no necesariamente un modelo más útil o más veraz. Dos modelos con una pérdida parecida pueden comportarse de forma muy distinta en una conversación. Por eso las curvas de pérdida se acompañan de evaluaciones por tareas y de revisión humana, y por eso las etapas posteriores del entrenamiento usan en su lugar señales de preferencia o de recompensa.

← Todos los términos
ESC