PEFT
Pourquoi c'est important
Le PEFT a rendu le fine-tuning accessible. Avec des méthodes comme LoRA et QLoRA, on fait le fine-tuning de modèles de 7 à 70 milliards de paramètres sur un seul GPU. Le résultat est un petit fichier d'adaptateur, souvent de quelques dizaines de mégaoctets, au lieu d'un modèle de plusieurs gigaoctets. On peut garder un seul modèle de base et changer d'adaptateur selon le client ou la tâche, et des systèmes de service comme vLLM peuvent servir de nombreux adaptateurs LoRA sur un même modèle de base en même temps.
Comme les poids d'origine restent gelés, le PEFT réduit aussi l'oubli catastrophique : le modèle risque moins de perdre ses compétences générales en apprenant votre tâche.
En profondeur
Le fine-tuning complet met à jour tous les poids d'un modèle. Pour un modèle de 70 milliards de paramètres, cela veut dire stocker les gradients et les états de l'optimiseur pour 70 milliards de nombres, ce qui demande une grappe de GPU, et sauvegarder une nouvelle copie complète du modèle pour chaque tâche. Le fine-tuning efficace en paramètres gèle le modèle d'origine et n'entraîne qu'un minuscule module ajouté, souvent bien moins de 1 % du nombre de paramètres.
Les résultats sont étonnamment proches du fine-tuning complet pour la plupart des tâches pratiques, à une fraction du coût. PEFT est aussi le nom de la bibliothèque populaire de Hugging Face qui implémente ces méthodes.
Les principales méthodes
- LoRA (Low-Rank Adaptation) : ajoute de petites matrices de faible rang à côté des matrices de poids existantes et n'entraîne que celles-ci. De loin la méthode la plus utilisée.
- QLoRA : du LoRA par-dessus un modèle de base quantifié en 4 bits, pour que même les gros modèles tiennent dans une VRAM modeste.
- Adaptateurs : de petites couches en goulot insérées dans chaque bloc du transformer. L'une des premières méthodes PEFT (2019), mais elles ajoutent un peu de latence à l'inférence, contrairement à LoRA qui peut être fusionné dans les poids de base.
- Prefix tuning et prompt tuning : apprennent quelques « tokens virtuels » placés devant l'entrée. Très peu coûteux, mais généralement moins bons que LoRA sur les tâches difficiles.
- IA³ et méthodes similaires : apprennent des vecteurs de mise à l'échelle par canal. Extrêmement petits, utiles quand il faut des milliers d'adaptateurs.
- DoRA et autres variantes de LoRA : ajustent la façon dont la mise à jour de faible rang est appliquée, pour une qualité légèrement meilleure.
Ce que le PEFT fait bien, et moins bien
Le PEFT excelle pour enseigner le style, le format et le comportement : une voix maison, un schéma JSON, une grille de classification précise, des conventions d'appel d'outils. Il est moins bon pour injecter de grandes quantités de connaissances nouvelles. Si le modèle doit connaître votre documentation, le RAG est généralement le meilleur outil, parfois combiné à un léger fine-tuning pour le format.
Choix pratiques
Les principaux réglages des méthodes de type LoRA sont le rang (la taille de l'adaptateur, couramment de 8 à 64), les couches à adapter (toutes les couches linéaires donnent généralement le meilleur résultat), le taux d'apprentissage (plus élevé que pour un fine-tuning complet, souvent autour de 1e-4 à 2e-4) et le nombre d'époques. Commencez petit et évaluez sur des exemples mis de côté avant de passer à l'échelle.
Où il se situe
Le PEFT se place entre le prompt engineering et le fine-tuning complet. Essayez d'abord le prompting et les exemples few-shot. Si cela plafonne, un entraînement PEFT est l'étape suivante. Le fine-tuning complet est surtout réservé aux laboratoires et aux grands changements, comme l'apprentissage d'une nouvelle langue.