Saltar al contenido principal
Zubnet AI › Aprender › Wiki › Regularización
Entrenamiento

Regularización

También conocido como: Regularización L1 / L2
Cualquier técnica que desalienta a un modelo de memorizar sus datos de entrenamiento para que generalice mejor a datos nuevos.

Por qué importa

La regularización es la principal palanca contra el sobreajuste. Sin ella, las redes profundas entrenadas con conjuntos de datos modestos a menudo aprenderían sus datos de entrenamiento a la perfección y fallarían en todo lo demás. Casi todas las recetas de entrenamiento usan alguna forma de regularización, y cuando lees una configuración de fine-tuning, ajustes como weight_decay, dropout y lora_dropout son todos regularización.

Además, es un dial y no un interruptor. Con muy poca, el modelo se sobreajusta; con demasiada, se subajusta. Ajustar su intensidad es una de las tareas de hiperparámetros más comunes en la práctica.

En profundidad

Un modelo con suficiente capacidad puede memorizar su conjunto de entrenamiento, con ruido y rarezas incluidos. Regularización es el término general para todo lo que hacemos para impedirlo y empujar al modelo hacia soluciones más simples y más generales. Algunas técnicas añaden una penalización a la pérdida, otras inyectan ruido, otras limitan el entrenamiento y otras simplemente le dan al modelo datos más variados.

La idea se remonta a un principio más antiguo que el machine learning: cuando dos explicaciones encajan con los hechos, quédate con la más simple.

Por penalización: L2 y L1

La regularización L2 añade una penalización proporcional al cuadrado del tamaño de los pesos, lo que los empuja hacia valores pequeños. Los pesos grandes permiten que un modelo reaccione bruscamente ante cambios mínimos en la entrada, algo típico de la memorización. La regularización L1 penaliza el valor absoluto, lo que tiende a llevar muchos pesos exactamente a cero y da modelos dispersos.

El weight decay es la forma que verás en el deep learning moderno: en cada paso, los pesos se encogen un poco hacia cero. Con SGD simple equivale a L2, pero con Adam no, y por eso AdamW aplica el weight decay por separado de la actualización del gradiente. AdamW con un weight decay de entre 0,01 y 0,1 es la opción por defecto en la mayoría de los entrenamientos de transformers.

Por ruido: dropout y compañía

El dropout apaga al azar una fracción de las neuronas durante el entrenamiento, para que la red no pueda depender de un único camino. Entre los trucos relacionados están la profundidad estocástica (saltarse capas enteras al azar) y el suavizado de etiquetas (decirle al modelo que la respuesta correcta es 90 % probable en vez de 100 %, para que no se confíe demasiado). El preentrenamiento de los LLM grandes suele usar poco o ningún dropout, porque con billones de tokens el modelo rara vez ve el mismo ejemplo dos veces y el sobreajuste preocupa menos.

Por datos y por procedimiento

El aumento de datos crea copias variadas de los ejemplos de entrenamiento (recortes, volteos, paráfrasis), para que el modelo aprenda qué no importa. La parada temprana detiene el entrenamiento cuando la pérdida de validación deja de mejorar. Incluso elegir un tamaño de batch pequeño tiene un leve efecto regularizador, porque los gradientes más ruidosos evitan que el modelo se asiente en soluciones afiladas y demasiado específicas.

La regularización en el fine-tuning

Hacer fine-tuning de un modelo grande con un conjunto de datos pequeño es donde más importa la regularización para quienes construyen. Los métodos eficientes en parámetros como LoRA son en sí mismos una forma de regularización: al permitir solo cambios de bajo rango, limitan cuánto puede desviarse el modelo. Mantener pocas épocas (a menudo de 1 a 3), usar una tasa de aprendizaje moderada y reservar un conjunto de validación son los valores prácticos por defecto.

← Todos los términos
ESC