Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › PEFT
Treinamento

PEFT

Também conhecido como: Parameter-Efficient Fine-Tuning, Fine-tuning eficiente em parâmetros
Uma família de métodos de fine-tuning que treinam só um pequeno número de parâmetros adicionados ou selecionados, em vez do modelo inteiro.

Por que isso importa

O PEFT foi o que tornou o fine-tuning acessível. Com métodos como LoRA e QLoRA, as pessoas fazem fine-tuning de modelos de 7B a 70B em uma única GPU. O resultado é um arquivo de adaptador pequeno, muitas vezes de dezenas de megabytes, em vez de um modelo de vários gigabytes. Dá para manter um único modelo base e trocar de adaptador por cliente ou por tarefa, e sistemas de serviço como o vLLM conseguem servir muitos adaptadores LoRA sobre o mesmo modelo base ao mesmo tempo.

Como os pesos originais ficam congelados, o PEFT também reduz o esquecimento catastrófico: é menos provável que o modelo perca suas habilidades gerais enquanto aprende a sua tarefa.

Em profundidade

O fine-tuning completo atualiza todos os pesos de um modelo. Em um modelo de 70 bilhões de parâmetros, isso significa guardar gradientes e estados do otimizador para 70 bilhões de números, o que exige um cluster de GPUs, e ainda salvar uma cópia nova e completa do modelo para cada tarefa. O fine-tuning eficiente em parâmetros congela o modelo original e treina só um complemento minúsculo, muitas vezes bem abaixo de 1% dos parâmetros.

Os resultados ficam surpreendentemente próximos do fine-tuning completo na maioria das tarefas práticas, por uma fração do custo. PEFT também é o nome da popular biblioteca da Hugging Face que implementa esses métodos.

Os principais métodos

  • LoRA (Low-Rank Adaptation): acrescenta pequenas matrizes de baixo rank ao lado das matrizes de pesos existentes e treina só essas. É de longe o método mais usado.
  • QLoRA: LoRA sobre um modelo base quantizado em 4 bits, para que até modelos grandes caibam em uma VRAM modesta.
  • Adaptadores: pequenas camadas de gargalo inseridas em cada bloco do transformer. Um dos primeiros métodos de PEFT (2019), mas acrescentam um pouco de latência na inferência, ao contrário do LoRA, que pode ser fundido aos pesos base.
  • Prefix tuning e prompt tuning: aprendem alguns "tokens virtuais" colocados antes da entrada. Muito baratos, mas em geral mais fracos que o LoRA em tarefas difíceis.
  • IA³ e similares: aprendem vetores de escala por canal. São extremamente pequenos e úteis quando você precisa de milhares de adaptadores.
  • DoRA e outras variantes do LoRA: ajustam a forma como a atualização de baixo rank é aplicada para obter uma qualidade um pouco melhor.

No que o PEFT é bom, e no que não é

O PEFT se destaca ao ensinar estilo, formato e comportamento: uma voz própria, um esquema JSON, um esquema de classificação específico, convenções de chamada de ferramentas. Ele é mais fraco para injetar grandes quantidades de conhecimento novo. Se você precisa que o modelo conheça a sua documentação, o RAG costuma ser a ferramenta melhor, às vezes combinado com um fine-tuning leve para o formato.

Escolhas práticas

Os principais ajustes nos métodos do tipo LoRA são o rank (o tamanho do adaptador, normalmente de 8 a 64), quais camadas adaptar (todas as camadas lineares costuma dar o melhor resultado), a taxa de aprendizado (mais alta que no fine-tuning completo, muitas vezes entre 1e-4 e 2e-4) e o número de épocas. Comece pequeno e avalie com exemplos separados antes de aumentar a escala.

Onde ele se encaixa

O PEFT fica entre a engenharia de prompt e o fine-tuning completo. Tente primeiro prompts e exemplos few-shot. Se isso bater no teto, um treinamento com PEFT é o próximo passo. O fine-tuning completo fica reservado principalmente para laboratórios e para mudanças grandes, como ensinar um idioma novo.

← Todos os termos
ESC