QLoRA
Pourquoi c'est important
En profondeur
QLoRA, présenté en 2023 par Tim Dettmers et ses collègues de l'Université de Washington, combine deux idées. D'abord, charger le modèle de base en précision 4 bits au lieu de 16 bits, ce qui divise sa consommation de mémoire par environ 4. Ensuite, garder ces poids 4 bits gelés et entraîner par-dessus de petits adaptateurs LoRA en précision plus élevée. Les gradients traversent le modèle quantifié jusqu'aux adaptateurs, qui sont la seule partie à apprendre.
Le résultat phare : un modèle de 65 milliards de paramètres a pu être ajusté sur un seul GPU de 48 Go, avec une qualité égale à celle d'un fine-tuning complet en 16 bits sur les benchmarks testés.
Les trois astuces
L'article QLoRA a introduit trois éléments qui, ensemble, rendent possible l'entraînement en 4 bits :
- NF4 (4-bit NormalFloat) : un type de données 4 bits conçu pour la distribution en cloche des poids des réseaux de neurones, qui perd donc moins d'information que de simples entiers 4 bits.
- Double quantification : les petites constantes d'échelle utilisées par la quantification sont elles-mêmes quantifiées, ce qui économise encore environ 0,4 bit par paramètre.
- Optimiseurs paginés : les états de l'optimiseur peuvent déborder de la mémoire GPU vers la mémoire CPU pendant les pics, ce qui évite les plantages par manque de mémoire sur les longues séquences.
Budget mémoire approximatif
Pour un modèle de 7 à 8 milliards de paramètres : les poids 4 bits prennent environ 4 à 5 Go, les adaptateurs LoRA et leurs états d'optimiseur ajoutent quelques centaines de mégaoctets, et les activations dépendent de la taille de batch et de la longueur de séquence. En pratique, 16 Go de VRAM suffisent confortablement pour un modèle 8B avec gradient checkpointing, et environ 48 Go pour un modèle 70B.
Compromis
QLoRA est plus lent qu'un LoRA classique, souvent de 30 % ou plus, car les poids doivent être déquantifiés à la volée à chaque passe avant et arrière. La qualité est généralement très proche d'un LoRA 16 bits, mais pas toujours identique, surtout pour les tâches sensibles aux petits détails numériques.
Il y a aussi une subtilité au déploiement. Les adaptateurs ont été entraînés contre la version 4 bits du modèle. On peut les fusionner dans une copie en pleine précision du modèle de base pour le servir, ce qui fonctionne généralement bien, mais mieux vaut tester le résultat fusionné que supposer qu'il est équivalent.
Quand l'utiliser
Utilisez QLoRA quand la mémoire est la contrainte : gros modèle, petit GPU. Si vous avez beaucoup de VRAM, un LoRA simple en 16 bits est plus rapide et un peu plus simple. Pour le fine-tuning d'un petit modèle (1 à 3 milliards de paramètres), le gain compte moins.