Modèle de récompense de processus
Pourquoi c'est important
Le retour au niveau de l'étape corrige deux faiblesses des récompenses fondées uniquement sur le résultat. D'abord, il est bien plus informatif : un signal par étape au lieu d'un seul par problème. Ensuite, il récompense le fait d'avoir raison pour les bonnes raisons. Un modèle de résultat peut récompenser une solution qui arrive à la bonne réponse par une logique défaillante, alors qu'un PRM signale la faille.
Les PRM sont aussi un outil clé du calcul au moment du test (test-time compute). Si l'on peut noter des solutions partielles, on peut faire de la recherche : explorer plusieurs pistes de raisonnement, abandonner tôt les plus faibles et consacrer l'effort aux plus prometteuses.
En profondeur
Il y a deux façons de noter la solution de mathématiques d'un élève. On peut vérifier seulement la réponse finale, ou lire le développement ligne par ligne et marquer la première étape fautive. Un modèle de récompense de résultat (ORM, outcome reward model) fait la première chose : il voit une solution entière et prédit si le résultat est correct. Un modèle de récompense de processus (PRM, process reward model) fait la seconde : il attribue à chaque étape sa propre note.
L'idée a été popularisée par l'article d'OpenAI de 2023 « Let's Verify Step by Step », qui a entraîné un PRM sur environ 800 000 annotations humaines d'étapes de solution individuelles et montré qu'il choisissait les bonnes solutions mathématiques plus fiablement qu'un correcteur fondé sur le résultat.
Utiliser un PRM à l'inférence
- Reclassement best-of-N : générer de nombreuses solutions complètes, noter les étapes de chacune et renvoyer la solution qui obtient la meilleure note globale.
- Recherche en faisceau au niveau de l'étape : générer plusieurs étapes suivantes candidates, garder les meilleures selon le PRM et continuer à partir de celles-ci.
- Recherche arborescente : utiliser les notes du PRM pour guider une recherche parmi les chemins de raisonnement possibles, dans l'esprit du réseau de valeur d'AlphaGo.
Des expériences ont montré qu'un petit modèle doté d'un bon PRM et d'assez de recherche peut égaler, sur des benchmarks de mathématiques, un modèle bien plus grand qui répond en une seule passe.
Utiliser un PRM pour l'entraînement
Un PRM peut fournir des récompenses denses pour l'apprentissage par renforcement, ou filtrer des traces de raisonnement synthétiques pour que seules les traces solides servent de données d'entraînement.
D'où viennent les annotations
Les annotations humaines par étape coûtent cher, car elles demandent à des experts de lire un raisonnement ligne par ligne. Des alternatives automatisées estiment la qualité d'une étape par des rollouts : on poursuit la solution de nombreuses fois à partir de cette étape et on regarde à quelle fréquence la réponse finale est correcte. Une autre voie consiste à confier à un LLM performant le rôle de juge de chaque étape.
Limites
- Qu'est-ce qu'une étape ? Les solutions mathématiques se découpent proprement en étapes. Le raisonnement général et les tâches d'agent, non.
- Juger une étape est difficile. Une étape peut sembler correcte isolément et pourtant ne mener nulle part.
- Détournement de récompense. Une politique entraînée contre un PRM appris peut apprendre à produire des étapes qui plaisent au PRM plutôt que des étapes justes.
- Étroitesse du domaine. Un PRM entraîné sur les mathématiques se transfère mal au code ou aux sciences.
Pour ces raisons, les modèles de raisonnement les plus connus se sont surtout appuyés sur des récompenses de résultat vérifiables automatiquement (la réponse correspond, les tests passent), à très grande échelle. L'article de DeepSeek sur R1, par exemple, discute explicitement des PRM et choisit de ne pas s'appuyer sur eux. Les PRM restent précieux là où vérifier le résultat final coûte cher et où la recherche à l'inférence est payante.