SFT
Pourquoi c'est important
Presque tous les modèles de chat que vous avez utilisés sont passés par le SFT. C'est aussi le type de fine-tuning que les développeurs font le plus souvent eux-mêmes : quand une entreprise ajuste un modèle pour répondre dans son style maison ou produire un format JSON précis, c'est du SFT, généralement avec LoRA ou QLoRA.
Le SFT est simple à mettre en place et très efficace pour enseigner le format et le comportement. C'est le moyen le plus rapide d'obtenir qu'un modèle fasse une chose précise de façon fiable, à condition de pouvoir lui montrer de bons exemples.
En profondeur
Après le pré-entraînement, un modèle de langage est un puissant prédicteur de texte, mais pas un assistant utile. Posez-lui une question et il pourrait enchaîner avec trois autres questions, parce que c'est souvent à cela que ressemble le texte sur Internet. Le fine-tuning supervisé corrige cela en montrant au modèle de nombreux exemples du comportement voulu : un prompt, et une réponse idéale écrite ou validée par une personne (ou par un modèle plus fort). Le modèle est entraîné à produire ces réponses, token par token.
Le SFT est généralement la première étape du post-entraînement. Il transforme un modèle de base en un modèle qui suit les instructions, utilise un format de conversation et répond dans un style cohérent. Les méthodes par préférences comme RLHF ou DPO viennent en général après.
Comment ça marche
Les données d'entraînement sont un ensemble de conversations, chacune faite d'un prompt (et parfois d'un prompt système et de tours précédents) et d'une réponse cible. Le modèle voit toute la conversation, mais la perte n'est généralement calculée que sur les tokens de la réponse. C'est ce qu'on appelle masquer le prompt : on veut que le modèle apprenne à écrire de bonnes réponses, pas à prédire les questions de l'utilisateur.
Chaque exemple est mis en forme avec le chat template du modèle, les tokens spéciaux qui marquent le début et la fin des tours système, utilisateur et assistant. Se tromper de template est l'une des causes les plus fréquentes d'un fine-tuning raté.
La qualité prime sur la quantité
Un constat revient souvent : un petit ensemble d'excellents exemples bat un grand ensemble d'exemples médiocres. L'article LIMA (2023) a montré qu'environ 1 000 exemples choisis avec soin pouvaient donner un bon assistant à partir d'un bon modèle de base. En pratique, quelques centaines à quelques milliers d'exemples de qualité, variés et cohérents, sont un bon point de départ pour une tâche étroite.
Une grande partie des données de SFT est aujourd'hui synthétique : écrite par un modèle plus fort, puis filtrée. C'est efficace, mais l'élève hérite des habitudes et des erreurs du professeur, donc le filtrage compte.
SFT ou entraînement par préférences
Le SFT apprend au modèle à imiter. Il ne peut pas être meilleur que ses exemples, et il ne voit jamais à quoi ressemble une mauvaise réponse. Les méthodes par préférences (RLHF, DPO) montrent au modèle des paires de réponses meilleures et moins bonnes, ce qui aide pour des qualités plus subtiles comme l'utilité, la sûreté et le ton. L'apprentissage par renforcement à récompenses vérifiables (RLVR) va plus loin pour les tâches de raisonnement, en laissant le modèle découvrir des solutions plutôt que les copier. Un pipeline moderne typique : pré-entraînement, puis SFT, puis entraînement par préférences ou par renforcement.
Pièges courants
- L'oubli : trop d'époques sur un jeu de données étroit peuvent éroder les compétences générales. Une à trois époques, c'est l'usage.
- Des données incohérentes : si les exemples ne s'accordent pas sur le format ou le ton, le modèle non plus.
- Enseigner des faits par SFT : le modèle peut sembler sûr d'une information nouvelle sans la connaître de façon fiable, ce qui peut augmenter les hallucinations. Pour les connaissances, utilisez le RAG.