GRPO
Pourquoi c’est important
En profondeur
GRPO — Group Relative Policy Optimization — est apparu d'abord dans l'article DeepSeekMath de DeepSeek en 2024, puis est devenu célèbre un an plus tard comme algorithme d'entraînement derrière DeepSeek-R1, le modèle ouvert qui a montré que l'apprentissage par renforcement seul pouvait susciter de longues chaînes de pensée autovérifiantes. Au fond, c'est une simplification pragmatique de PPO, l'algorithme qui propulsait les chaînes de RLHF classiques. PPO entraîne un second gros modèle, le critique, pour estimer la qualité d'une réponse partiellement générée; GRPO jette le critique. Pour chaque prompt, la politique courante échantillonne un groupe de sorties candidates, chaque sortie reçoit une récompense, et l'avantage de chacune est simplement l'écart de sa récompense au-dessus ou en dessous de la moyenne du groupe. Il en résulte une boucle d'apprentissage par renforcement moins coûteuse à exécuter, plus facile à régler, et naturellement adaptée aux récompenses vérifiables utilisées pour entraîner les modèles de raisonnement.
Comment le groupe remplace le critique
Dans PPO, le travail du critique est de prédire la récompense attendue d'une réponse partielle pour que l'algorithme puisse dire si le résultat final a été meilleur ou pire que prévu. GRPO obtient le même signal de référence par la statistique plutôt que par un réseau de neurones. Étant donné un prompt, la politique génère un groupe de G sorties — de 8 à 64 en pratique — et chaque sortie est notée, soit par un vérificateur à règles (la réponse mathématique correspond-elle, le code passe-t-il les tests), soit par un modèle de récompense appris. L'avantage de chaque sortie est ensuite sa récompense moins la moyenne du groupe, divisée par l'écart-type du groupe. Les sorties au-dessus de la moyenne du groupe voient leur probabilité poussée vers le haut, celles en dessous vers le bas, et un objectif écrêté de type PPO plus une pénalité KL vers un modèle de référence figé garde chaque mise à jour petite. Comme la référence est calculée par prompt, les prompts où tous les échantillons obtiennent le même score ne contribuent presque aucun gradient, ce qui s'avère compter beaucoup en pratique.
Pourquoi c'est moins cher et plus stable
Les économies sont concrètes. Les chaînes PPO classiques gardent quatre modèles en mémoire pendant l'entraînement — la politique, une politique de référence figée, un modèle de récompense et un critique habituellement aussi gros que la politique elle-même — et le critique doit être entraîné en parallèle de tout le reste, ce qui est notoirement capricieux. GRPO retire le plus embêtant des quatre, libérant de la mémoire vidéo pour de plus gros lots ou de plus gros modèles et éliminant toute une classe de bogues d'apprentissage de la valeur. La normalisation par groupe gère aussi automatiquement l'échelle des récompenses : un prompt dont les récompenses sont serrées voit ses avantages écrasés vers zéro, donc la mise à jour se concentre sur les prompts où les sorties du modèle diffèrent véritablement en qualité. Le compromis, c'est que le budget de calcul se déplace de l'entraînement du critique vers l'inférence : générer 16 ou 32 échantillons par prompt sur des milliers de prompts par étape veut dire que l'échantillonneur, pas l'optimiseur, est habituellement le goulot d'étranglement.
C'est un optimiseur, pas une recette de raisonnement
Une idée fausse répandue veut que GRPO soit intrinsèquement lié au raisonnement ou aux récompenses vérifiables — que l'algorithme lui-même ait produit le comportement observé dans DeepSeek-R1. Ce n'est pas le cas. GRPO est agnostique quant à la récompense : il maximisera volontiers le signal qu'on lui donne, y compris un modèle de récompense appris qui note des qualités ouvertes comme l'utilité ou le style. La percée du raisonnement est venue de la combinaison — GRPO plus des récompenses vérifiables à règles, plus un bon modèle de base, plus des entraînements assez longs pour que des comportements comme l'autovérification émergent — la recette maintenant décrite comme le RLVR. Inversement, les récompenses vérifiables fonctionnent très bien avec PPO ordinaire, et plusieurs laboratoires ont entraîné des modèles de raisonnement ainsi avant que GRPO existe. Garder les deux idées distinctes compte en pratique : les équipes qui adoptent GRPO en s'attendant à ce que le raisonnement émerge de l'algorithme seul, sans récompenses soigneusement conçues ni assez de calcul, sont habituellement déçues.
Où ça casse
L'élégance de GRPO vient avec des modes d'échec qu'il vaut la peine de connaître. Le plus discuté, c'est le groupe tout-ou-rien : quand tous les échantillons d'un prompt reçoivent la même récompense — tous corrects ou tous faux — tous les avantages sont nuls et le prompt ne contribue rien, donc le signal d'entraînement dépend beaucoup du maintien de la difficulté des prompts dans la bande où le modèle réussit parfois. La rareté des récompenses aggrave ça sur les tâches difficiles, et c'est pourquoi les chaînes pratiques mêlent des problèmes plus faciles ou utilisent du crédit partiel. Les petits groupes donnent des références bruitées; les grands groupes coûtent plus de calcul d'échantillonnage, et la bonne taille reste affaire de réglage empirique. Sur de longs entraînements, les modèles peuvent aussi souffrir d'effondrement de l'entropie, où la politique devient trop confiante trop tôt et cesse d'explorer, ou d'explosion de longueur, où les réponses s'allongent parce que la longueur se trouve à corréler avec la récompense. La plupart de ces problèmes ont des atténuations, et les implémentations dans des cadriciels comme TRL de Hugging Face exposent les boutons pertinents, mais GRPO n'est pas un algorithme qu'on lance et qu'on oublie.