QLoRA
Por qué importa
En profundidad
QLoRA, presentado en 2023 por Tim Dettmers y sus colegas de la Universidad de Washington, combina dos ideas. Primero, cargar el modelo base en precisión de 4 bits en lugar de 16 bits, lo que reduce su uso de memoria unas 4 veces. Segundo, mantener congelados esos pesos de 4 bits y entrenar encima pequeños adaptadores LoRA en una precisión mayor. Los gradientes atraviesan el modelo cuantizado hasta los adaptadores, que son la única parte que aprende.
El resultado más citado: se pudo ajustar un modelo de 65 mil millones de parámetros en una sola GPU de 48 GB, con una calidad igual a la del fine-tuning completo en 16 bits en los benchmarks que probaron.
Los tres trucos
El artículo de QLoRA introdujo tres piezas que, juntas, hacen que el entrenamiento en 4 bits funcione:
- NF4 (4-bit NormalFloat): un tipo de dato de 4 bits diseñado para la distribución en forma de campana de los pesos de las redes neuronales, que pierde menos información que los enteros de 4 bits simples.
- Doble cuantización: las pequeñas constantes de escala que usa la cuantización también se cuantizan, lo que ahorra aproximadamente otros 0,4 bits por parámetro.
- Optimizadores paginados: los estados del optimizador pueden pasar de la memoria de la GPU a la de la CPU durante los picos de memoria, lo que evita caídas por falta de memoria en secuencias largas.
Presupuesto de memoria aproximado
Para un modelo de 7B a 8B: los pesos de 4 bits ocupan unos 4 a 5 GB, los adaptadores LoRA y sus estados del optimizador añaden unos cientos de megabytes, y las activaciones dependen del tamaño de batch y de la longitud de secuencia. En la práctica, 16 GB de VRAM son cómodos para un modelo 8B con gradient checkpointing, y unos 48 GB alcanzan para un modelo 70B.
Compromisos
QLoRA es más lento que el LoRA normal, a menudo un 30 % o más, porque los pesos se tienen que descuantizar sobre la marcha en cada pasada hacia adelante y hacia atrás. La calidad suele ser muy cercana a la de LoRA en 16 bits, pero no siempre idéntica, sobre todo en tareas sensibles a pequeños detalles numéricos.
También hay un detalle en el despliegue. Los adaptadores se entrenaron contra la versión de 4 bits del modelo. Puedes fusionarlos con una copia en precisión completa del modelo base para servirlo, lo que suele funcionar bien, pero conviene probar el resultado fusionado en lugar de dar por hecho que es equivalente.
Cuándo usarlo
Usa QLoRA cuando la memoria sea la limitación: modelo grande, GPU pequeña. Si tienes VRAM de sobra, LoRA simple en 16 bits es más rápido y un poco más sencillo. Si vas a ajustar un modelo pequeño (de 1B a 3B), el ahorro importa menos.