GRPO
Por qué importa
En profundidad
GRPO — Group Relative Policy Optimization — apareció por primera vez en el artículo DeepSeekMath de DeepSeek en 2024 y se hizo famoso un año después como el algoritmo de entrenamiento detrás de DeepSeek-R1, el modelo abierto que demostró que el aprendizaje por refuerzo por sí solo podía provocar una Cadena de pensamiento larga y con autoverificación. En esencia, es una simplificación pragmática de PPO, el algoritmo que impulsó los pipelines clásicos de RLHF. PPO entrena un segundo modelo grande, el crítico, para estimar qué tan buena es una respuesta generada parcialmente; GRPO descarta al crítico. Para cada prompt, la política actual muestrea un grupo de salidas candidatas, cada salida recibe una recompensa y la ventaja de cada una es simplemente cuánto se sitúa su recompensa por encima o por debajo de la media del grupo. El resultado es un bucle de RL más barato de ejecutar, más fácil de ajustar y que encaja naturalmente con las recompensas verificables utilizadas para entrenar modelos de Razonamiento.
Cómo el grupo sustituye al crítico
En PPO, el trabajo del crítico es predecir la recompensa esperada de una respuesta parcial, para que el algoritmo pueda determinar si el resultado final fue mejor o peor de lo previsto. GRPO obtiene la misma señal de baseline mediante estadísticas en vez de una red neuronal. Dado un prompt, la política genera un grupo de G salidas — entre 8 y 64 en la práctica — y cada salida recibe una puntuación, ya sea de un verificador basado en reglas (¿coincidió la respuesta matemática?, ¿pasó el código las pruebas?) o de un Modelo de Recompensa aprendido. La ventaja de cada salida es entonces su recompensa menos la media del grupo, dividida por la desviación estándar del grupo. Las salidas por encima de la media aumentan su probabilidad, las que están por debajo la reducen, y un objetivo recortado al estilo PPO más una penalización KL hacia un modelo de referencia congelado mantiene pequeña cada actualización. Como el baseline se calcula por prompt, los prompts cuyas muestras obtienen todas la misma puntuación casi no aportan gradiente, algo que resulta importar mucho en la práctica.
Por qué es más barato y estable
El ahorro es concreto. Los pipelines PPO clásicos mantienen cuatro modelos en memoria durante el entrenamiento — la política, una política de referencia congelada, un modelo de recompensa y un crítico que suele ser tan grande como la propia política —, y el crítico debe entrenarse junto con todo lo demás, algo notoriamente delicado. GRPO elimina el más problemático de los cuatro, liberando VRAM para batches mayores o modelos más grandes y suprimiendo toda una clase de errores en el aprendizaje del valor. La normalización del grupo también maneja automáticamente la escala de las recompensas: un prompt cuyas recompensas están muy agrupadas ve sus ventajas comprimidas hacia cero, por lo que la actualización se centra en prompts donde las salidas del modelo difieren genuinamente en calidad. La contrapartida es que el presupuesto de cómputo se traslada de entrenar al crítico a la Inferencia: generar 16 o 32 muestras por prompt a través de miles de prompts por paso significa que el muestreador, y no el optimizador, suele ser el cuello de botella.
Es un optimizador, no una receta de razonamiento
Una idea equivocada común es que GRPO está ligado inherentemente al razonamiento o a las recompensas verificables — que el propio algoritmo produjo el comportamiento observado en DeepSeek-R1. No es así. GRPO es indiferente al tipo de recompensa: maximizará con gusto cualquier señal que reciba, incluido un modelo de recompensa aprendido que puntúe cualidades abiertas como utilidad o estilo. El avance del razonamiento provino de la combinación — GRPO más recompensas verificables basadas en reglas, más un modelo base potente, más ejecuciones de entrenamiento suficientemente largas para que surgieran comportamientos como la autoverificación —, la receta que ahora se describe como RLVR. A la inversa, las recompensas verificables funcionan bien con PPO puro, y varios laboratorios entrenaron modelos de razonamiento de esa manera antes de que existiera GRPO. Mantener separadas las dos ideas importa en la práctica: los equipos que adoptan GRPO esperando que el razonamiento emerja únicamente del algoritmo, sin recompensas cuidadosamente diseñadas ni suficiente cómputo, suelen decepcionarse.
Dónde falla
La elegancia de GRPO trae consigo modos de fallo que conviene conocer. El más debatido es el grupo de todo o nada: cuando todas las muestras de un prompt reciben la misma recompensa — todas correctas o todas incorrectas —, cada ventaja es cero y el prompt no aporta nada, por lo que la señal de entrenamiento depende mucho de mantener la dificultad de los prompts dentro del intervalo donde el modelo acierta a veces. La escasez de recompensas lo empeora en tareas difíciles, razón por la que los pipelines prácticos mezclan problemas más fáciles o usan crédito parcial. Los grupos pequeños dan baselines ruidosos; los grandes cuestan más cómputo de muestreo, y el tamaño correcto sigue siendo una cuestión de ajuste empírico. Durante ejecuciones largas, los modelos también pueden sufrir colapso de entropía, donde la política se vuelve demasiado segura demasiado pronto y deja de explorar, o explosión de longitud, donde las respuestas se alargan porque la longitud resulta correlacionarse con la recompensa. La mayoría de estos problemas tiene mitigaciones, y las implementaciones en frameworks como TRL de Hugging Face exponen los controles pertinentes, pero GRPO no es un algoritmo que se configure y se olvide.