PPO
Pourquoi c’est important
En profondeur
PPO est une méthode de gradient de politique, c'est-à-dire qu'elle améliore une politique — dans le travail sur les modèles de langage, le modèle lui-même — en la poussant vers les actions qui ont bien marqué et en l'éloignant de celles qui ont mal marqué. L'astuce signature, c'est l'objectif substitut écrêté : pour chaque action, PPO calcule le rapport entre la probabilité que lui attribue la politique courante et celle que lui attribuait la politique précédente, multiplie ce rapport par une estimation d'avantage indiquant à quel point l'action a été meilleure que prévu, puis écrête le rapport dans une bande étroite (couramment de 0,8 à 1,2) pour qu'aucun lot ne puisse tirer la politique trop loin. Comme l'écrêtage rend les mises à jour agressives sûres, l'algorithme peut faire plusieurs époques de mises à jour de gradient par mini-lots sur les mêmes données recueillies, ce qui est bien plus économe en échantillons que les gradients de politique naïfs. Cette combinaison — stabilité et efficacité d'échantillonnage correcte — a fait de PPO le cheval de bataille par défaut de l'apprentissage par renforcement pendant des années, d'abord dans les jeux et les bancs d'essai de robotique, puis dans l'alignement des modèles de langage.
La mécanique autour de l'objectif
PPO tourne rarement seul. C'est une méthode acteur-critique, donc en plus de la politique (l'acteur) elle entraîne un modèle de valeur (le critique) qui prédit la récompense attendue d'un état, ce qui lui permet de calculer des avantages par estimation généralisée de l'avantage plutôt que d'attendre les scores finaux. Dans le contexte du RLHF, la facture mémoire grossit encore : une copie figée du modèle original sert de politique de référence, et un modèle de récompense distinct fournit les scores, si bien qu'un entraînement complet peut garder quatre modèles en mémoire à la fois. Le modèle de référence existe parce que l'objectif inclut une pénalité sur la divergence KL entre la politique courante et la référence, ce qui empêche le modèle de dériver vers du texte dégénéré qui obtient de bons scores par accident. Faire converger cet ensemble en douceur veut dire jongler avec plusieurs hyperparamètres en interaction — la plage d'écrêtage, le coefficient de pénalité KL, le taux d'apprentissage et les réglages d'estimation d'avantage — ce qui explique en bonne partie la réputation de PPO d'être capricieux.
Comment PPO propulse le RLHF
La chaîne qui a rendu PPO célèbre part d'un modèle déjà passé par le pré-entraînement et un ajustement fin supervisé sur des démonstrations. Des annotateurs humains classent ensuite plusieurs réponses échantillonnées pour le même prompt, et ces classements sont distillés dans un modèle de récompense qui prédit quelles réponses les gens préféreront. PPO prend le relais à partir de là : le modèle génère des réponses à de nouveaux prompts, le modèle de récompense les note, et l'objectif écrêté plus la pénalité KL mettent à jour les poids pour favoriser les comportements mieux notés. C'est essentiellement la recette derrière InstructGPT et ChatGPT d'OpenAI, et elle a fait passer le RLHF d'une idée de recherche à la façon standard de rendre un modèle de base utile et obéissant aux instructions. Le hic, c'est le piratage de récompense — poussez l'optimisation trop fort et le modèle apprend à exploiter les particularités du modèle de récompense plutôt qu'à produire de meilleures réponses, et c'est pourquoi l'ancrage KL et un arrêt précoce soigné comptent tant en pratique.
Ce n'est pas synonyme de RLHF
Un raccourci courant traite PPO et RLHF comme la même chose, mais ils vivent à des niveaux différents : le RLHF est le paradigme global d'entraînement à partir de préférences humaines, tandis que PPO n'est qu'un optimiseur qu'on peut y brancher. DPO saute complètement l'apprentissage par renforcement, ajustant la politique directement sur des paires de préférences avec une perte simple de type classification, et ça fonctionne bien pour beaucoup de tâches d'alignement. GRPO, popularisé par les travaux de DeepSeek sur les modèles de raisonnement, garde la boucle d'apprentissage par renforcement mais jette le modèle de valeur, estimant la référence de chaque réponse à partir de la récompense moyenne d'un groupe d'échantillons tirés pour le même prompt. Retirer le critique coupe la mémoire et élimine toute une catégorie de maux de tête de réglage, et c'est pourquoi GRPO est devenu un choix par défaut courant pour entraîner des modèles de raisonnement sur des récompenses vérifiables. Il vaut aussi la peine de se rappeler que PPO lui-même précède l'ère des grands modèles de langage — il a été conçu comme algorithme généraliste pour des agents joueurs et du contrôle de robots simulés, et n'a été enrôlé que plus tard dans l'alignement des modèles de langage.
Les compromis pratiques
Choisir PPO aujourd'hui est un jugement d'ingénierie. Du côté positif, il est éprouvé aux plus grandes échelles, son attribution de crédit par token via le modèle de valeur donne un signal d'apprentissage à grain fin, et des années d'outillage accumulé et de folklore de praticiens rendent ses échecs diagnosticables. Du côté négatif, garder quatre modèles en mémoire GPU coûte cher, la surface d'hyperparamètres est vaste et impitoyable, et la suroptimisation de la récompense est un risque de fond constant : les scores du modèle de récompense peuvent continuer de grimper pendant que des juges humains disent que la qualité baisse. Les équipes dotées d'une infrastructure mûre et d'un besoin de contrôle serré sur la dynamique d'entraînement tendent encore à choisir PPO, surtout quand les récompenses sont bruitées plutôt que binaires. Celles qui veulent quelque chose de plus simple, de moins cher et de plus facile à reproduire commencent de plus en plus par GRPO ou DPO et ne se tournent vers PPO que lorsque ces méthodes butent. Dans les deux cas, comprendre PPO reste le prix d'entrée — presque tous les algorithmes de post-entraînement modernes se comprennent mieux comme une modification de celui-ci.