Entropía cruzada: −log(P(token correcto)). Si el modelo asigna probabilidad 0.9 al token correcto, la pérdida es baja (~0.1). Si asigna 0.01, la pérdida es alta (~4.6). La perplejidad es simplemente exp(pérdida) — representa "entre cuántos tokens está eligiendo el modelo."
Un modelo alineado puede tener mayor pérdida que un modelo base, pero ser mucho más útil. La alineación enseña al modelo a rechazar ciertas respuestas y preferir otras, lo que aumenta la pérdida en el sentido de "predicción del siguiente token" pero mejora la calidad en el sentido humano. Menor pérdida ≠ mejor modelo en producción.
Cuando la pérdida de entrenamiento baja pero la pérdida de validación sube: sobreajuste. Cuando ambas se estancan: necesitas más datos, más parámetros o un cambio de arquitectura. Cuando la pérdida tiene picos repentinos: inestabilidad numérica o datos corruptos en un batch. Leer curvas de pérdida es una habilidad fundamental del entrenamiento de modelos.