Modelo de recompensa de proceso
Por qué importa
La retroalimentación a nivel de paso corrige dos debilidades de las recompensas basadas solo en el resultado. Primero, es mucho más informativa: una señal por paso en lugar de una por problema. Segundo, recompensa acertar por las razones correctas. Un modelo de resultado puede recompensar una solución que llega a la respuesta correcta con una lógica defectuosa, mientras que un PRM señala el defecto.
Los PRM también son una herramienta clave para el cómputo en tiempo de inferencia (test-time compute). Si puedes puntuar soluciones parciales, puedes buscar: explorar varias líneas de razonamiento, descartar pronto las débiles y dedicar el esfuerzo a las prometedoras.
En profundidad
Hay dos formas de calificar la solución de matemáticas de un estudiante. Puedes revisar solo la respuesta final, o puedes leer el desarrollo línea por línea y marcar el primer paso que falla. Un modelo de recompensa de resultado (ORM, outcome reward model) hace lo primero: ve una solución completa y predice si el resultado es correcto. Un modelo de recompensa de proceso (PRM, process reward model) hace lo segundo: le da a cada paso su propia puntuación.
La idea se popularizó con el artículo de OpenAI de 2023 «Let's Verify Step by Step», que entrenó un PRM con unas 800.000 etiquetas humanas de pasos individuales de soluciones y mostró que elegía soluciones matemáticas correctas con más fiabilidad que un evaluador basado en el resultado.
Usar un PRM en inferencia
- Reclasificación best-of-N: generar muchas soluciones completas, puntuar los pasos de cada una y devolver la solución con la mejor puntuación global.
- Búsqueda beam a nivel de paso: generar varios candidatos para el siguiente paso, quedarse con los mejores según el PRM y continuar desde ellos.
- Búsqueda en árbol: usar las puntuaciones del PRM para guiar una búsqueda entre los posibles caminos de razonamiento, al estilo de la red de valor de AlphaGo.
Hay experimentos que muestran que un modelo pequeño con un buen PRM y suficiente búsqueda puede igualar, en benchmarks de matemáticas, a un modelo mucho más grande que responde de una sola pasada.
Usar un PRM para entrenar
Un PRM puede aportar recompensas densas para el aprendizaje por refuerzo, o filtrar trazas de razonamiento sintéticas para que solo las sólidas se usen como datos de entrenamiento.
De dónde salen las etiquetas
Las etiquetas humanas por paso son caras, porque exigen que expertos lean el razonamiento línea por línea. Las alternativas automatizadas estiman la calidad de un paso mediante rollouts: continuar la solución muchas veces desde ese paso y ver con qué frecuencia la respuesta final resulta correcta. Otra vía es hacer que un LLM potente actúe como juez de cada paso.
Límites
- ¿Qué cuenta como un paso? Las soluciones matemáticas se dividen en pasos con claridad. El razonamiento general y las tareas de agentes, no.
- Juzgar un paso es difícil. Un paso puede parecer correcto por sí solo y aun así no llevar a ninguna parte.
- Reward hacking. Una política entrenada contra un PRM aprendido puede aprender a producir pasos que le gustan al PRM en lugar de pasos que son correctos.
- Estrechez de dominio. Un PRM entrenado en matemáticas no se transfiere bien al código ni a la ciencia.
Por estas razones, los modelos de razonamiento más conocidos se han apoyado sobre todo en recompensas de resultado que pueden verificarse automáticamente (la respuesta coincide, los tests pasan) a muy gran escala. El artículo de R1 de DeepSeek, por ejemplo, analizó los PRM de forma explícita y decidió no depender de ellos. Los PRM siguen siendo valiosos donde verificar el resultado final es caro y donde la búsqueda en tiempo de inferencia compensa.