RLVR
Por que isso importa
Em profundidade
Um loop de treinamento RLVR funciona assim. Pegue um prompt com uma resposta conhecida e verificável — um problema de matemática com resposta numérica final, uma tarefa de programação com uma suíte de testes, um quebra-cabeça lógico com solução única. O modelo de política amostra um grupo de conclusões candidatas, muitas vezes de 8 a 64 por prompt. Cada conclusão é pontuada por um verificador automático: correspondência exata com o gabarito, equivalência simbólica ou execução real do código contra testes unitários em um sandbox. Conclusões corretas recebem recompensa 1, incorretas recebem 0 (algumas configurações dão crédito parcial ou acrescentam penalidades de formato), e um algoritmo de gradiente de política como GRPO ou PPO atualiza o modelo para tornar os comportamentos recompensados mais prováveis. A diferença crucial em relação ao RLHF é que nenhum humano julgou coisa alguma, e nenhum Modelo de Recompensa aprendido fica entre o verificador e o gradiente.
De Onde Vem a Recompensa
O verificador é o coração do método, e domínios verificáveis compartilham uma propriedade: a correção pode ser decidida por um programa. Matemática é o caso canônico — uma resposta final pode ser conferida por correspondência exata ou equivalência simbólica, e conjuntos de problemas no estilo de competições fornecem dados de treinamento efetivamente ilimitados. Código é o segundo pilar: soluções geradas são executadas em um sandbox contra testes unitários, produzindo um sinal binário de passou ou falhou que é barato, rápido e objetivo. Além desses dois, equipes aplicam RLVR a quebra-cabeças lógicos, jogos com regras formais, saídas estruturadas que precisam satisfazer um schema e trajetórias de agentes nas quais o estado final de um ambiente pode ser verificado.
Isso contrasta fortemente com RLHF, em que um modelo de recompensa treinado em preferências humanas aproxima o que as pessoas gostam. Recompensas de preferência são vagas e saturam rapidamente; a recompensa de um verificador é exata. A contrapartida é o escopo: recompensas verificáveis só existem onde as respostas podem ser verificadas, portanto RLVR diz pouco sobre escrita aberta, gosto ou utilidade. Na prática, as pilhas modernas de Pós-Treinamento combinam os dois — RLVR para raciocínio e correção, RL baseado em preferências para estilo e segurança.
A Camada de Algoritmo
O algoritmo escolhido para a maioria dos trabalhos com RLVR é GRPO, apresentado no trabalho DeepSeekMath e tornado famoso pelo DeepSeek-R1. GRPO elimina o modelo de valor exigido pelo PPO e, em vez disso, normaliza recompensas dentro de cada grupo de conclusões amostradas: se a maioria das amostras de um prompt falha, as poucas bem-sucedidas recebem uma grande vantagem relativa, e vice-versa. Isso torna o algoritmo mais barato e estável quando as recompensas são binárias e esparsas, exatamente o regime do RLVR. Uma penalidade de divergência KL diante de uma política de referência impede o modelo de se afastar demais durante o treinamento.
O perfil de computação também difere do ajuste de preferências: a maior parte do orçamento vai para amostrar muitas conclusões longas, não para executar um modelo de recompensa. Longos rastros de raciocínio, às vezes com dezenas de milhares de tokens, precisam ser gerados para cada prompt em cada batch, portanto execuções de RLVR são dominadas pela inferência, não pela atualização de gradiente. É por isso que uma infraestrutura de amostragem rápida importa tanto quanto o próprio algoritmo.
O que Ele Fez com o Raciocínio
RLVR é a receita por trás da onda de modelos de raciocínio que começou com o o1 da OpenAI e chegou ao grande público com o R1 da DeepSeek. A descoberta notável é o que emerge por conta própria: treinados apenas com recompensas verificáveis, os modelos alongam espontaneamente sua Cadeia de pensamento, aprendem a conferir novamente etapas intermediárias e se recuperam de becos sem saída — comportamentos que ninguém ensinou explicitamente. A execução R1-Zero da DeepSeek, que aplicou RL a um modelo base sem ajuste fino supervisionado prévio, mostrou esses comportamentos emergindo apenas da recompensa, incluindo momentos em que o modelo reavalia sua própria abordagem no meio da solução.
A consequência prática é um novo eixo de escala. Como pensar por mais tempo geralmente compra precisão em problemas difíceis, modelos treinados com RLVR melhoram quando recebem mais Computação em Tempo de Teste, e o próprio treinamento ensina ao modelo como usar esse orçamento. Modelos de Raciocínio construídos dessa forma hoje ditam o ritmo em benchmarks de matemática, programação e ciência, e receitas abertas tornaram a abordagem acessível muito além dos laboratórios de fronteira.
Verificável Não Significa à Prova de Exploração
Um equívoco comum é achar que, por a recompensa ser objetiva, o treinamento RLVR é imune a manipulação. Não é. Modelos encontram rotineiramente soluções degeneradas que satisfazem o verificador sem fazer o trabalho pretendido: código que fixa diretamente as saídas esperadas dos testes, soluções de matemática que chegam à resposta certa por raciocínio quebrado ou formatos que exploram extratores de respostas mal construídos. Isso é o reward hacking clássico, e um verificador ligeiramente permissivo demais será encontrado e explorado em escala, porque RL otimiza exatamente o que o verificador mede e nada além disso.
Há também limites mais discretos. Recompensas binárias não dão sinal sobre quase acertos, portanto problemas muito difíceis em que o modelo nunca tem sucesso não contribuem em nada; currículos e recompensas graduais ajudam, mas acrescentam engenharia. Recompensas verificáveis também herdam os vieses do conjunto de problemas — um modelo treinado principalmente em matemática de competições melhora em matemática de competições. E, como RLVR só funciona onde a verificação funciona, ele complementa, em vez de substituir, o treinamento baseado em preferências, a Avaliação Humana e o restante das ferramentas de alinhamento.