Pós-Treinamento
Por que isso importa
Em profundidade
Um modelo base recém-saído do pré-treinamento é um artefato poderoso, mas desajeitado: continua texto em vez de responder a perguntas, não tem o conceito de ser um assistente e imita o pior de seus dados de treinamento com a mesma facilidade que o melhor. O pós-treinamento converte esse artefato em produto por uma sequência de etapas, cada uma com seus próprios dados, objetivos e modos de falha. A receita clássica — popularizada pelo InstructGPT da OpenAI em 2022 e hoje usada de alguma forma por todo grande laboratório — começa com ajuste fino supervisionado em demonstrações, passa à otimização de preferências e, cada vez mais, acrescenta uma dose pesada de aprendizado por reforço. Todo o pipeline custa uma pequena fração da computação de Pré-treinamento, mas determina quase tudo o que o usuário realmente experimenta: estilo, formato, recusas e a maneira como o modelo raciocina.
O Ajuste Fino Supervisionado Vem Primeiro
A primeira etapa é o Ajuste por Instruções: ajuste fino supervisionado em pares de entrada e saída que mostram ao modelo como é uma boa resposta de assistente. Os datasets são minúsculos pelos padrões do pré-treinamento — milhares a milhões de exemplos curados, não trilhões de tokens —, e a qualidade domina a quantidade, porque o modelo absorve todos os hábitos contidos nas demonstrações. Boa parte desses dados hoje vem de Dados Sintéticos, gerados e filtrados por modelos mais fortes em vez de anotadores pagos. O SFT também instala o template de chat, os tokens especiais que marcam os turnos de sistema, usuário e assistente, razão pela qual as versões base e instruct do mesmo modelo se comportam de forma tão diferente. Exagere nessa etapa e o modelo começa a perder capacidades do pré-treinamento, uma forma leve de esquecimento catastrófico que aparece como regressões em habilidades que ninguém tocou.
Ajuste de Preferências com RLHF e DPO
Demonstrações não conseguem ensinar tudo, portanto a etapa seguinte otimiza preferências: avaliadores humanos ranqueiam pares de respostas do modelo, os rankings treinam um Modelo de Recompensa, e a política é ajustada para obter boa pontuação contra ele. A receita original executa aprendizado por reforço, geralmente PPO com uma penalidade KL que impede a política de se afastar demais, e esse pipeline de RLHF foi o que transformou modelos base da classe GPT-3 no ChatGPT. O DPO (2023) condensou todo o ciclo em um objetivo no estilo supervisionado aplicado diretamente aos pares de preferência, sem modelo de recompensa nem mecanismo de RL, colocando o ajuste de preferências ao alcance de qualquer pessoa capaz de executar um ajuste fino. Nenhum dos métodos é gratuito: modelos de recompensa são superotimizados conforme a política aprende a explorar seus pontos cegos, e o ajuste de preferências é um conhecido causador de bajulação, pois avaliadores tendem a recompensar respostas agradáveis, confiantes e elogiosas.
A Era do Raciocínio Mudou a Matemática
A maior mudança recente é o aprendizado por reforço com recompensas verificáveis: em vez do julgamento humano, a recompensa vem de um verificador automático — a resposta de matemática bate com o gabarito, o código passa nos testes unitários. Como não precisa de rotuladores, esse estilo de treinamento RLVR escala muito além dos dados de preferência, e algoritmos como GRPO, apresentado pela DeepSeek em 2024, reduzem ainda mais o custo eliminando por completo o modelo de valor. Essa é a receita por trás da geração de modelos de raciocínio — o1 da OpenAI, DeepSeek-R1 e seus sucessores —, na qual os modelos aprendem longas cadeias de pensamento, retrocesso e autocorreção por RL, não por imitação. Um atalho popular é a Destilação: treinar um modelo menor nos longos rastros de raciocínio de um modelo de fronteira e capturar boa parte do comportamento sem executar RL, como a DeepSeek fez com as variantes menores do R1 em Qwen e Llama. De qualquer forma, a computação de pós-treinamento, antes secundária, hoje é um eixo de escala de primeira classe ao lado da computação em tempo de teste.
A Segurança Também Mora Aqui
Quase tudo o que um usuário experimenta como segurança é pós-treinamento: comportamento de recusa, tratamento de solicitações perigosas e robustez sob pressão de jailbreak. Laboratórios misturam exemplos de segurança ao SFT, acrescentam sinais de inocuidade ao modelo de recompensa e martelam checkpoints com Red Teaming antes do lançamento; a IA Constitucional da Anthropic substitui parte dos rótulos humanos de inocuidade por feedback de IA verificado contra um conjunto escrito de princípios. A calibração é a parte difícil — pouco treinamento de segurança e o modelo é perigoso; demais, e ele recusa pesquisa de segurança, perguntas médicas e ficção sombria. Esses comportamentos também ficam perto da superfície: algumas centenas de etapas de ajuste fino podem removê-los de um modelo de pesos abertos, uma preocupação viva em todo lançamento aberto.
Ele Molda Mais o Comportamento que o Conhecimento
Um equívoco persistente é que o pós-treinamento ensina fatos novos ao modelo. Em grande parte, não ensina: as evidências, incluindo a hipótese de alinhamento superficial por trás de trabalhos como LIMA em 2023, sugerem que quase todo o conhecimento vem do pré-treinamento, enquanto o pós-treinamento principalmente revela, formata e restringe o que já existe. Isso tem consequências práticas. Se falta uma capacidade ao modelo, um dataset maior de SFT raramente a corrige — o conhecimento precisa vir do modelo base, ou a etapa de RL precisa de uma tarefa verificável na qual o comportamento possa ser realmente praticado. Isso também explica por que contar com o pós-treinamento para remendar lacunas factuais é um plano arriscado e por que recuperação ou outro modelo base costuma ser a resposta honesta.