Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › SFT
Treinamento

SFT

Também conhecido como: Supervised Fine-Tuning, Fine-tuning supervisionado
O fine-tuning de um modelo pré-treinado com exemplos cuidadosos de entradas acompanhadas das saídas exatas que você quer que ele produza.

Por que isso importa

Quase todo modelo de chat que você já usou passou por SFT. É também o tipo de fine-tuning que quem constrói mais faz por conta própria: quando uma empresa ajusta um modelo para responder no estilo da casa ou gerar um formato JSON específico, isso é SFT, normalmente com LoRA ou QLoRA.

O SFT é simples de montar e muito eficaz para ensinar formato e comportamento. É o jeito mais rápido de fazer um modelo executar uma coisa específica de forma confiável, desde que você consiga mostrar bons exemplos.

Em profundidade

Depois do pré-treinamento, um modelo de linguagem é um ótimo previsor de texto, mas não um assistente útil. Faça uma pergunta e ele pode continuar com mais três perguntas, porque é assim que o texto da internet costuma ser. O fine-tuning supervisionado corrige isso mostrando ao modelo muitos exemplos do comportamento desejado: um prompt e uma resposta ideal escrita ou aprovada por uma pessoa (ou por um modelo mais forte). O modelo é treinado para produzir essas respostas, token por token.

O SFT costuma ser a primeira etapa do pós-treinamento. Ele transforma um modelo base em algo que segue instruções, usa um formato de chat e responde em um estilo consistente. Métodos de preferência como RLHF ou DPO normalmente vêm depois.

Como funciona

Os dados de treinamento são um conjunto de conversas, cada uma formada por um prompt (e às vezes um prompt de sistema e turnos anteriores) e uma resposta-alvo. O modelo vê a conversa inteira, mas a perda normalmente é calculada só sobre os tokens da resposta. Isso se chama mascarar o prompt: você quer que o modelo aprenda a escrever boas respostas, não a prever as perguntas do usuário.

Cada exemplo é formatado com o chat template do modelo, os tokens especiais que marcam onde começam e terminam os turnos do sistema, do usuário e do assistente. Errar o template é uma das causas mais comuns de um fine-tuning quebrado.

Qualidade vence quantidade

Um achado recorrente é que um conjunto pequeno de exemplos excelentes supera um conjunto grande de exemplos medianos. O artigo LIMA (2023) mostrou que cerca de 1.000 exemplos escolhidos com cuidado conseguiam produzir um bom assistente a partir de um bom modelo base. Na prática, de algumas centenas a alguns milhares de exemplos de qualidade, variados e consistentes, são um ponto de partida sensato para uma tarefa restrita.

Hoje, boa parte dos dados de SFT é sintética: escrita por um modelo mais forte e depois filtrada. É eficiente, mas o aluno herda os hábitos e os erros do professor, então a filtragem importa.

SFT versus treinamento por preferências

O SFT ensina o modelo a imitar. Ele só consegue ser tão bom quanto os exemplos, e nunca vê como é uma resposta ruim. Métodos de preferência (RLHF, DPO) mostram ao modelo pares de respostas melhores e piores, o que ajuda em qualidades mais sutis, como utilidade, segurança e tom. O aprendizado por reforço com recompensas verificáveis (RLVR) vai além em tarefas de raciocínio, ao deixar o modelo descobrir soluções em vez de copiá-las. Um pipeline moderno típico é: pré-treinamento, depois SFT, depois treinamento por preferências ou por reforço.

Armadilhas comuns

  • Esquecimento: épocas demais em um conjunto de dados restrito podem desgastar as habilidades gerais. O usual é de uma a três épocas.
  • Dados inconsistentes: se os exemplos discordam em formato ou tom, o modelo também vai discordar.
  • Ensinar fatos com SFT: isso pode fazer o modelo soar seguro sobre informações novas sem conhecê-las de forma confiável, o que pode aumentar as alucinações. Para conhecimento, use RAG.
← Todos os termos
ESC