PPO
Por que isso importa
Em profundidade
PPO é um método de gradiente de política, ou seja, melhora uma política — no trabalho com modelos de linguagem, o próprio modelo — empurrando-a na direção de ações que receberam boas pontuações e para longe das que pontuaram mal. O truque característico é o objetivo substituto limitado: para cada ação, PPO calcula a razão entre a probabilidade que a política atual lhe atribui e a probabilidade atribuída pela política anterior, multiplica essa razão por uma estimativa de vantagem de quanto a ação foi melhor que o esperado e então limita a razão a uma faixa estreita (normalmente de 0,8 a 1,2), para que nenhum batch isolado puxe a política longe demais. Como essa limitação torna seguras as atualizações agressivas, o algoritmo pode executar várias épocas de atualizações de gradiente em minibatches sobre os mesmos dados coletados, algo muito mais eficiente em amostras que gradientes de política ingênuos. Essa combinação — estabilidade mais eficiência razoável em amostras — tornou PPO o cavalo de batalha padrão do Aprendizado por reforço por anos, primeiro em benchmarks de jogos e robótica e depois no alinhamento de modelos de linguagem.
O Mecanismo ao Redor do Objetivo
PPO raramente roda sozinho. É um método actor-critic, portanto, ao lado da política (o ator), treina um modelo de valor (o crítico) que prevê a recompensa esperada de um estado, permitindo calcular vantagens por estimativa de vantagem generalizada em vez de esperar pelas pontuações finais. No cenário de RLHF, a conta de memória cresce ainda mais: uma cópia congelada do modelo original serve como política de referência, e um Modelo de Recompensa separado fornece as pontuações, portanto uma execução completa de treinamento pode manter quatro modelos na memória ao mesmo tempo. O modelo de referência existe porque o objetivo inclui uma penalidade sobre a divergência KL entre a política atual e a referência, impedindo que o modelo derive para texto degenerado que por acaso pontua bem. Fazer esse conjunto treinar de forma estável exige equilibrar vários hiperparâmetros que interagem — faixa de limitação, coeficiente da penalidade KL, taxa de aprendizado e configurações da estimativa de vantagem —, grande parte da fama do PPO de ser difícil de ajustar.
Como PPO Alimenta o RLHF
O pipeline que tornou PPO famoso começa com um modelo que já passou por Pré-treinamento e Ajuste fino supervisionado em demonstrações. Anotadores humanos então ranqueiam várias respostas amostradas para o mesmo prompt, e esses rankings são destilados em um modelo de recompensa que prevê quais respostas as pessoas preferirão. PPO assume a partir daí: o modelo gera respostas a prompts novos, o modelo de recompensa as pontua, e o objetivo limitado mais a penalidade KL atualizam os pesos para favorecer comportamentos com maior pontuação. Essa é, em essência, a receita por trás do InstructGPT e do ChatGPT da OpenAI, e transformou RLHF de ideia de pesquisa na forma padrão de tornar um modelo base útil e obediente a instruções. O problema é o reward hacking — force demais a otimização e o modelo aprende a explorar peculiaridades do modelo de recompensa, em vez de produzir respostas realmente melhores, razão pela qual a âncora KL e uma parada antecipada cuidadosa importam tanto na prática.
Não é Sinônimo de RLHF
Um atalho comum trata PPO e RLHF como a mesma coisa, mas eles vivem em níveis diferentes: RLHF é o paradigma geral de treinamento a partir de preferências humanas, enquanto PPO é apenas um otimizador que você pode conectar a ele. DPO pula completamente o aprendizado por reforço, ajustando a política diretamente em pares de preferência com uma perda simples no estilo de classificação, e funciona bem para muitas tarefas de alinhamento. GRPO, popularizado pelo trabalho da DeepSeek com modelos de raciocínio, mantém o loop de RL, mas elimina o modelo de valor, estimando a linha de base de cada resposta pela recompensa média de um grupo de amostras tiradas para o mesmo prompt. Remover o crítico reduz a memória e elimina uma categoria inteira de dores de cabeça no ajuste, razão pela qual GRPO virou um padrão comum para treinar modelos de raciocínio com recompensas verificáveis. Também vale lembrar que o próprio PPO é anterior à era dos LLMs — foi criado como algoritmo de propósito geral para agentes que jogam e controle simulado de robôs, e só mais tarde foi recrutado para o Alinhamento de modelos de linguagem.
As Contrapartidas Práticas
Escolher PPO hoje é uma decisão de engenharia. Do lado positivo, ele foi testado em batalha nas maiores escalas, sua atribuição de crédito por token por meio do modelo de valor fornece um sinal de aprendizado granular, e anos de ferramentas e conhecimento prático acumulados tornam suas falhas diagnosticáveis. Do lado negativo, manter quatro modelos na memória da GPU é caro, a superfície de hiperparâmetros é grande e implacável, e a superotimização da recompensa é um risco constante: as pontuações do modelo de recompensa podem continuar subindo enquanto avaliadores humanos dizem que a qualidade está, na verdade, caindo. Equipes com infraestrutura madura e necessidade de controle rígido da dinâmica de treinamento ainda tendem a escolher PPO, especialmente quando as recompensas são ruidosas, não binárias. Equipes que querem algo mais simples, barato e fácil de reproduzir começam cada vez mais com GRPO ou DPO e só recorrem ao PPO quando esses métodos chegam a um limite. De qualquer forma, entender PPO continua sendo o preço de entrada — quase todo algoritmo moderno de Pós-Treinamento é mais bem compreendido como uma modificação dele.