Subajuste
Por qué importa
Distinguir el subajuste del sobreajuste es una de las habilidades de diagnóstico más útiles en machine learning, porque los remedios apuntan en direcciones opuestas. El sobreajuste pide menos capacidad, más regularización o más datos. El subajuste pide más capacidad, un entrenamiento más largo o menos regularización. Si aplicas el remedio equivocado, empeoras las cosas.
En la era de los LLM, el subajuste tiene menos que ver con modelos diminutos y más con el subentrenamiento. La investigación de Chinchilla mostró que muchos modelos grandes de la época se habían entrenado con muy pocos tokens para su tamaño. Estaban subajustados, y modelos más pequeños entrenados con más datos los superaban. Hoy, los modelos pequeños suelen entrenarse a propósito mucho más allá del punto «óptimo en cómputo», justamente para exprimir hasta el último resto de subajuste.
En profundidad
El sobreajuste se lleva casi toda la atención, pero su opuesto es igual de común. Un modelo subajustado no ha aprendido lo suficiente. Su pérdida de entrenamiento sigue alta, su pérdida de validación también, y las dos están cerca. Es como un estudiante que hojeó el libro de texto: no le va bien ni en los ejercicios de práctica ni en el examen, porque nunca entendió de verdad la materia.
La imagen clásica es ajustar una recta a datos que claramente forman una curva. Por más datos que añadas, no ayuda, porque una recta simplemente no puede expresar la curva.
Cómo detectarlo
Mira tus curvas de pérdida:
- Subajuste: las pérdidas de entrenamiento y de validación son altas y están cerca, y puede que sigan bajando cuando detienes el entrenamiento.
- Sobreajuste: la pérdida de entrenamiento sigue bajando mientras la de validación se estanca o sube, y la brecha se abre.
- Buen ajuste: las dos son bajas y la brecha es pequeña.
Si la propia pérdida de entrenamiento es mala, el modelo ni siquiera logra ajustarse a los datos que ha visto. Eso es subajuste, y más datos no lo van a arreglar.
Causas habituales
- Muy poca capacidad: pocos parámetros o capas para la complejidad de la tarea.
- Muy poco entrenamiento: parar demasiado pronto, o una tasa de aprendizaje tan baja que el modelo apenas se mueve.
- Demasiada regularización: un dropout o un weight decay muy fuertes pueden impedir que el modelo aprenda patrones reales.
- Características débiles o entradas malas: si la información necesaria para resolver la tarea no está en la entrada, ningún modelo puede aprenderla.
- Un bug: etiquetas desordenadas, un pipeline de datos roto o una capa congelada suelen verse exactamente igual que el subajuste. Revisa esto primero.
Soluciones
Entrena más tiempo, sube la tasa de aprendizaje (con cuidado), usa un modelo más grande, reduce la regularización o mejora las entradas. En el fine-tuning, un rango de LoRA demasiado pequeño o muy pocos pasos pueden causar subajuste: el modelo apenas cambia su comportamiento. Prueba primero a sobreajustar a propósito un subconjunto diminuto de tus datos. Si el modelo ni siquiera puede memorizar 100 ejemplos, algo está roto en tu configuración.
El subajuste en el fine-tuning
Cuando la gente dice que un fine-tuning «no prendió», el modelo suele estar subajustado a la nueva tarea. Las señales son salidas que ignoran el formato deseado o que siguen sonando como el modelo base. Antes de buscar más datos, comprueba que la tasa de aprendizaje y el número de épocas sean razonables, y que la pérdida se calcule solo sobre las partes de los ejemplos que quieres que el modelo aprenda.