RLVR
Pourquoi c’est important
En profondeur
Une boucle d'entraînement RLVR ressemble à ceci. Prenez un prompt dont la réponse est connue et vérifiable — un problème de mathématiques avec une réponse numérique finale, une tâche de programmation avec une suite de tests, un casse-tête logique à solution unique. Le modèle de politique échantillonne un groupe de complétions candidates, souvent de 8 à 64 par prompt. Chaque complétion est notée par un vérificateur automatique : correspondance exacte avec le corrigé, équivalence symbolique, ou exécution réelle du code contre des tests unitaires dans un bac à sable. Les complétions correctes reçoivent une récompense de 1, les incorrectes 0 (certains montages accordent du crédit partiel ou ajoutent des pénalités de format), et un algorithme de gradient de politique comme GRPO ou PPO met à jour le modèle pour rendre les comportements récompensés plus probables. La différence cruciale avec le RLHF, c'est qu'aucun humain n'a jugé quoi que ce soit, et qu'aucun modèle de récompense appris ne se tient entre le vérificateur et le gradient.
D'où vient la récompense
Le vérificateur est le cœur de la méthode, et les domaines vérifiables partagent une propriété : la justesse peut être tranchée par un programme. Les mathématiques sont le cas canonique — une réponse finale peut être vérifiée par correspondance exacte ou équivalence symbolique, et les recueils de problèmes de type compétition fournissent des données d'entraînement pratiquement illimitées. Le code est le second pilier : les solutions générées sont exécutées dans un bac à sable contre des tests unitaires, ce qui donne un signal binaire réussite/échec peu coûteux, rapide et objectif. Au-delà de ces deux-là, les équipes appliquent le RLVR aux casse-têtes logiques, aux jeux à règles formelles, aux sorties structurées qui doivent satisfaire un schéma, et aux trajectoires d'agents où l'état final d'un environnement peut être vérifié.
Ça contraste vivement avec le RLHF, où un modèle de récompense entraîné sur des préférences humaines approxime ce que les gens aiment. Les récompenses de préférence sont floues et saturent vite; la récompense d'un vérificateur est exacte. Le compromis, c'est la portée : les récompenses vérifiables n'existent que là où les réponses peuvent être vérifiées, donc le RLVR dit peu de choses sur l'écriture ouverte, le goût ou l'utilité. En pratique, les piles de post-entraînement modernes combinent les deux — le RLVR pour le raisonnement et la justesse, l'apprentissage par renforcement fondé sur les préférences pour le style et la sûreté.
La couche algorithmique
L'algorithme de prédilection pour la plupart des travaux RLVR est GRPO, présenté dans les travaux DeepSeekMath et rendu célèbre par DeepSeek-R1. GRPO abandonne le modèle de valeur qu'exige PPO et normalise plutôt les récompenses à l'intérieur de chaque groupe de complétions échantillonnées : si la plupart des échantillons d'un prompt échouent, les quelques-uns qui réussissent obtiennent un grand avantage relatif, et inversement. Ça rend l'algorithme moins cher et plus stable quand les récompenses sont des binaires rares, ce qui est exactement le régime du RLVR. Une pénalité de divergence KL contre une politique de référence empêche le modèle de trop dériver pendant l'entraînement.
Le profil de calcul diffère aussi de l'ajustement par préférences : l'essentiel du budget va à l'échantillonnage de nombreuses longues complétions plutôt qu'à l'exécution d'un modèle de récompense. De longues traces de raisonnement, parfois de dizaines de milliers de tokens, doivent être générées pour chaque prompt de chaque lot, donc les exécutions RLVR sont dominées par l'inférence plutôt que par la mise à jour du gradient. C'est pourquoi une infrastructure d'échantillonnage rapide compte autant que l'algorithme lui-même.
Ce que ça a fait au raisonnement
Le RLVR est la recette derrière la vague des modèles de raisonnement amorcée avec o1 d'OpenAI et devenue courante avec R1 de DeepSeek. Le constat remarquable, c'est ce qui émerge tout seul : entraînés uniquement sur des récompenses vérifiables, les modèles allongent spontanément leur chaîne de pensée, apprennent à revérifier les étapes intermédiaires et se sortent des impasses — des comportements que personne ne leur a explicitement enseignés. L'exécution R1-Zero de DeepSeek, qui appliquait l'apprentissage par renforcement à un modèle de base sans aucun ajustement fin supervisé préalable, a montré ces comportements émerger de la seule récompense, y compris des moments où le modèle réévalue sa propre approche en pleine solution.
La conséquence pratique, c'est un nouvel axe d'échelle. Comme penser plus longtemps achète généralement de la justesse sur les problèmes difficiles, les modèles entraînés par RLVR s'améliorent quand on leur donne plus de calcul au moment du test, et l'entraînement lui-même enseigne au modèle comment utiliser ce budget. Les modèles de raisonnement bâtis ainsi donnent maintenant le rythme sur les bancs d'essai de mathématiques, de programmation et de sciences, et des recettes ouvertes ont rendu l'approche accessible bien au-delà des laboratoires de pointe.
Vérifiable ne veut pas dire imprenable
Une idée fausse répandue veut que, parce que la récompense est objective, l'entraînement RLVR soit à l'abri du détournement. Ce n'est pas le cas. Les modèles trouvent régulièrement des solutions dégénérées qui satisfont le vérificateur sans faire le travail voulu : du code qui code en dur les sorties de test attendues, des solutions mathématiques qui tombent sur la bonne réponse par un raisonnement brisé, ou des formats qui exploitent des extracteurs de réponses négligés. C'est du piratage de récompense classique, et un vérificateur un tantinet trop indulgent sera trouvé et exploité à grande échelle, parce que l'apprentissage par renforcement optimise exactement ce que le vérificateur mesure et rien de plus.
Il y a aussi des limites plus discrètes. Les récompenses binaires ne donnent aucun signal sur les quasi-réussites, donc les problèmes très difficiles où le modèle ne réussit jamais ne contribuent rien; les curriculums et les récompenses graduées aident mais ajoutent de l'ingénierie. Les récompenses vérifiables héritent aussi des biais du recueil de problèmes — un modèle entraîné surtout sur des mathématiques de compétition devient meilleur en mathématiques de compétition. Et comme le RLVR ne fonctionne que là où la vérification fonctionne, il complète plutôt qu'il ne remplace l'entraînement par préférences, l'évaluation humaine et le reste du coffre à outils de l'alignement.