Tasa de aprendizaje
Por qué importa
Si solo puedes ajustar un hiperparámetro, ajusta este. Una tasa de aprendizaje equivocada es la razón más común por la que falla un entrenamiento, y el fallo es fácil de malinterpretar:
- Demasiado alta: la pérdida se dispara, oscila o se vuelve
NaN. En el fine-tuning, el modelo puede olvidar lo que sabía y empezar a producir basura. - Demasiado baja: la pérdida apenas se mueve. Un fine-tuning «no prende», y el modelo se comporta igual que el modelo base.
Como el mejor valor cambia según el modelo, el método y los datos, es lo primero que hay que revisar cuando una receta que le funcionó a otra persona no te funciona a ti.
En profundidad
Entrenar una red neuronal es como bajar una colina en la niebla. El gradiente te dice en qué dirección está la bajada desde donde estás. La tasa de aprendizaje decide cuánto avanzas en esa dirección antes de volver a comprobar. Cada peso se actualiza más o menos así: peso nuevo = peso anterior − tasa de aprendizaje × gradiente.
Da pasos demasiado grandes y te pasas del valle, rebotando de un lado a otro o saliendo disparado. Da pasos demasiado pequeños y avanzas a paso de tortuga, desperdiciando cómputo, y puedes quedarte en un mal punto. El valor correcto está en algún lugar intermedio, y suele ser un número pequeño como 0,0001 (escrito 1e-4).
Valores típicos
Son puntos de partida con el optimizador AdamW, no reglas:
- Preentrenar un LLM desde cero: un pico de alrededor de 1e-4 a 6e-4.
- Fine-tuning completo de un modelo preentrenado: de 1e-5 a 5e-5. Los pesos ya son buenos, así que hay que moverse con suavidad.
- LoRA y QLoRA: de 1e-4 a 2e-4. Los pesos del adaptador empiezan cerca de cero y necesitan pasos más grandes.
El SGD simple usa valores mucho mayores, como 0,1, porque no reescala los gradientes como lo hace Adam.
Warmup
La mayoría de las recetas no empiezan con la tasa de aprendizaje completa. Suben desde casi cero durante los primeros cientos o miles de pasos. Al principio del entrenamiento, los gradientes son grandes y erráticos, y los optimizadores adaptativos como Adam todavía no han reunido estadísticas fiables. Los pasos de tamaño completo en ese momento pueden empujar al modelo a una mala región de la que nunca se recupera. El warmup es un seguro barato, normalmente entre el 1 % y el 10 % del total de pasos.
Decaimiento
Después del warmup, la tasa suele reducirse con el tiempo, lo más habitual siguiendo una curva coseno o una línea recta. Los pasos grandes avanzan rápido al principio; los pasos pequeños permiten ajustes finos al final. La entrada del wiki sobre el programa de tasa de aprendizaje cubre las opciones.
Interacciones
- Tamaño de batch: los batches más grandes dan gradientes menos ruidosos y toleran tasas de aprendizaje más altas. Una regla práctica habitual es subir la tasa cuando subes el batch.
- Optimizador: los optimizadores de la familia Adam adaptan el paso para cada peso, lo que los hace más tolerantes, pero la tasa base sigue importando.
- Weight decay: un ajuste aparte que encoge los pesos en cada paso. En AdamW su efecto está ligado a la tasa de aprendizaje.
- Tasas por capa: algunas recetas de fine-tuning usan tasas más pequeñas para las primeras capas, que contienen características generales, que para las posteriores.
Encontrar un buen valor
Prueba unos pocos valores separados por factores de alrededor de 3 (por ejemplo 1e-5, 3e-5, 1e-4, 3e-4) en entrenamientos cortos y compara las curvas de pérdida. Una buena tasa da una pérdida que baja rápido y de forma suave. El valor más grande que todavía entrena de forma estable suele estar cerca del mejor.