Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › Modelo de recompensa de processo
Treinamento

Modelo de recompensa de processo

Também conhecido como: Process Reward Model, PRM, Verificador por etapas
Um modelo que pontua cada etapa intermediária de uma cadeia de raciocínio, e não apenas a resposta final, para que o bom raciocínio possa ser guiado e recompensado enquanto se desenrola.

Por que isso importa

O feedback no nível da etapa corrige duas fraquezas das recompensas baseadas apenas no resultado. Primeiro, ele é muito mais informativo: um sinal por etapa em vez de um por problema. Segundo, ele recompensa acertar pelos motivos certos. Um modelo de resultado pode recompensar uma solução que chega à resposta correta por uma lógica falha, enquanto um PRM aponta a falha.

Os PRMs também são uma ferramenta essencial para a computação em tempo de teste (test-time compute). Se você consegue pontuar soluções parciais, consegue fazer busca: explorar várias linhas de raciocínio, descartar cedo as fracas e gastar esforço nas promissoras.

Em profundidade

Há duas formas de corrigir a solução de matemática de um aluno. Você pode conferir só a resposta final, ou pode ler o desenvolvimento linha por linha e marcar a primeira etapa que dá errado. Um modelo de recompensa de resultado (ORM, outcome reward model) faz a primeira coisa: vê uma solução inteira e prevê se o resultado está correto. Um modelo de recompensa de processo (PRM, process reward model) faz a segunda: dá a cada etapa a sua própria pontuação.

A ideia foi popularizada pelo artigo de 2023 da OpenAI "Let's Verify Step by Step", que treinou um PRM com cerca de 800.000 rótulos humanos de etapas individuais de soluções e mostrou que ele escolhia soluções matemáticas corretas com mais confiabilidade do que um avaliador baseado no resultado.

Usando um PRM na inferência

  • Reclassificação best-of-N: gerar muitas soluções completas, pontuar as etapas de cada uma e devolver a solução com a melhor pontuação geral.
  • Beam search no nível da etapa: gerar várias candidatas para a próxima etapa, manter as melhores segundo o PRM e continuar a partir delas.
  • Busca em árvore: usar as pontuações do PRM para guiar uma busca pelos caminhos de raciocínio possíveis, no espírito da rede de valor do AlphaGo.

Experimentos mostraram que um modelo pequeno com um bom PRM e busca suficiente pode igualar, em benchmarks de matemática, um modelo muito maior que responde em uma única passada.

Usando um PRM no treinamento

Um PRM pode fornecer recompensas densas para o aprendizado por reforço, ou filtrar rastros de raciocínio sintéticos para que só os sólidos sejam usados como dados de treinamento.

De onde vêm os rótulos

Rótulos humanos por etapa são caros, pois exigem que especialistas leiam o raciocínio linha por linha. Alternativas automatizadas estimam a qualidade de uma etapa por meio de rollouts: continuar a solução muitas vezes a partir daquela etapa e ver com que frequência a resposta final sai correta. Outro caminho é fazer um LLM forte atuar como juiz de cada etapa.

Limites

  • O que conta como uma etapa? Soluções de matemática se dividem em etapas com clareza. O raciocínio geral e as tarefas de agentes, não.
  • Julgar uma etapa é difícil. Uma etapa pode parecer boa isoladamente e mesmo assim não levar a lugar nenhum.
  • Reward hacking. Uma política treinada contra um PRM aprendido pode aprender a produzir etapas de que o PRM gosta, em vez de etapas que estão certas.
  • Domínio estreito. Um PRM treinado em matemática não se transfere bem para código ou ciências.

Por esses motivos, os modelos de raciocínio mais conhecidos se apoiaram principalmente em recompensas de resultado que podem ser verificadas automaticamente (a resposta bate, os testes passam) em escala muito grande. O artigo do R1 da DeepSeek, por exemplo, discutiu os PRMs explicitamente e optou por não depender deles. Os PRMs continuam valiosos onde verificar o resultado final é caro e onde a busca na inferência compensa.

← Todos os termos
ESC