Post-entraînement
Pourquoi c’est important
En profondeur
Un modèle de base tout juste sorti du pré-entraînement est un artefact puissant mais malcommode : il poursuit du texte au lieu de répondre aux questions, n'a aucune notion d'être un assistant, et imitera le pire de ses données d'entraînement aussi volontiers que le meilleur. Le post-entraînement convertit cet artefact en produit par une séquence d'étapes, chacune avec ses propres données, son objectif et ses modes d'échec. La recette classique — popularisée par InstructGPT d'OpenAI en 2022 et maintenant utilisée sous une forme ou une autre par tous les grands laboratoires — commence par un ajustement fin supervisé sur des démonstrations, passe à l'optimisation par préférences, et ajoute de plus en plus une bonne dose d'apprentissage par renforcement. Toute la chaîne coûte une petite fraction du calcul de pré-entraînement, et pourtant elle détermine presque tout ce qu'un utilisateur vit réellement : style, format, refus, et façon de raisonner du modèle.
L'ajustement fin supervisé vient en premier
La première étape est l'ajustement par instructions : un ajustement fin supervisé sur des paires entrée-sortie qui montrent au modèle à quoi ressemble une bonne réponse d'assistant. Les jeux de données sont minuscules selon les standards du pré-entraînement — de quelques milliers à quelques millions d'exemples sélectionnés plutôt que des billions de tokens — et la qualité domine la quantité, parce que le modèle absorbe toutes les habitudes que contiennent les démonstrations. Une bonne part de ces données est maintenant synthétique, générée et filtrée par des modèles plus forts plutôt que par des annotateurs payés. L'ajustement supervisé installe aussi le gabarit de conversation, les tokens spéciaux qui marquent les tours système, utilisateur et assistant, ce qui explique pourquoi les versions de base et instruites d'un même modèle se comportent si différemment. Poussez trop cette étape et le modèle commence à perdre des capacités du pré-entraînement, une forme légère d'oubli catastrophique qui se manifeste par des régressions sur des habiletés auxquelles personne n'a touché.
L'ajustement par préférences avec RLHF et DPO
Les démonstrations ne peuvent pas tout enseigner, donc l'étape suivante optimise les préférences : des évaluateurs humains classent des paires de réponses du modèle, les classements entraînent un modèle de récompense, et la politique est ajustée pour bien y marquer. La recette originale fait tourner de l'apprentissage par renforcement, habituellement PPO avec une pénalité KL qui empêche la politique de trop dériver, et cette chaîne de RLHF est ce qui a transformé les modèles de base de la classe de GPT-3 en ChatGPT. DPO (2023) a réduit toute la boucle à un objectif de type supervisé appliqué directement aux paires de préférences, sans modèle de récompense ni mécanique d'apprentissage par renforcement, ce qui a mis l'ajustement par préférences à la portée de quiconque peut faire tourner un ajustement fin. Aucune des deux méthodes n'est gratuite : les modèles de récompense se font suroptimiser à mesure que la politique apprend à exploiter leurs angles morts, et l'ajustement par préférences est un moteur connu de sycophantie, puisque les évaluateurs tendent à récompenser les réponses agréables, assurées et flatteuses.
L'ère du raisonnement a changé le calcul
Le plus grand virage récent, c'est l'apprentissage par renforcement à récompenses vérifiables : au lieu du jugement humain, la récompense vient d'un vérificateur automatique — la réponse mathématique correspond-elle au corrigé, le code passe-t-il les tests unitaires. Comme il n'a besoin d'aucun annotateur, ce style d'entraînement RLVR s'échelonne bien au-delà des données de préférences, et des algorithmes comme GRPO, présenté par DeepSeek en 2024, en coupent encore le coût en abandonnant complètement le modèle de valeur. C'est la recette derrière la génération des modèles de raisonnement — o1 d'OpenAI, DeepSeek-R1 et leurs successeurs — où les modèles apprennent de longues chaînes de pensée, le retour en arrière et l'autocorrection par apprentissage par renforcement plutôt que par imitation. Un raccourci populaire est la distillation : entraîner un plus petit modèle sur les longues traces de raisonnement d'un modèle de pointe et capter une bonne part du comportement sans faire d'apprentissage par renforcement du tout, comme DeepSeek l'a fait avec les variantes Qwen et Llama plus petites de R1. Dans tous les cas, le calcul de post-entraînement, autrefois une réflexion après coup, est maintenant un axe d'échelle de premier plan aux côtés du calcul au moment du test.
La sûreté vit ici aussi
Presque tout ce qu'un utilisateur vit comme de la sûreté relève du post-entraînement : le comportement de refus, la gestion des demandes dangereuses et la robustesse sous pression de contournement. Les laboratoires mêlent des exemples de sûreté à l'ajustement supervisé, ajoutent des signaux d'innocuité au modèle de récompense et martèlent les points de contrôle avec du red teaming avant publication; l'IA constitutionnelle d'Anthropic remplace une partie des étiquettes humaines d'innocuité par de la rétroaction d'IA confrontée à un ensemble écrit de principes. Le calibrage est la partie difficile — trop peu d'entraînement à la sûreté et le modèle est dangereux, trop et il refuse la recherche en sécurité, les questions médicales et la fiction sombre. Ces comportements se situent aussi près de la surface : quelques centaines d'étapes d'ajustement fin peuvent les retirer d'un modèle en poids ouverts, ce qui est une préoccupation vivante pour chaque publication ouverte.
Ça façonne le comportement plus que la connaissance
Une idée fausse tenace veut que le post-entraînement enseigne de nouveaux faits au modèle. Ce n'est surtout pas le cas : les preuves, dont l'hypothèse de l'alignement superficiel derrière des travaux comme LIMA en 2023, suggèrent que presque toute la connaissance vient du pré-entraînement, tandis que le post-entraînement fait surtout remonter, met en forme et contraint ce qui est déjà là. Ça a des conséquences pratiques. Si un modèle manque d'une capacité, un plus gros jeu de données d'ajustement supervisé corrige rarement la chose — la connaissance doit venir du modèle de base, ou l'étape d'apprentissage par renforcement a besoin d'une tâche vérifiable où le comportement peut réellement se pratiquer. Ça explique aussi pourquoi compter sur le post-entraînement pour rapiécer des trous factuels est un plan risqué, et pourquoi la récupération ou un modèle de base différent est habituellement la réponse honnête.