Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › QLoRA
Treinamento

QLoRA

Também conhecido como: Quantized LoRA, LoRA quantizado
Um método de fine-tuning que treina adaptadores LoRA sobre um modelo congelado em precisão de 4 bits, para que modelos grandes caibam em uma única GPU.

Por que isso importa

Antes do QLoRA, fazer fine-tuning de qualquer modelo acima de uns 13B parâmetros exigia várias GPUs de data center. O QLoRA levou o fine-tuning de modelos de 30B a 70B para uma única placa de workstation, e o de modelos de 7B a 8B para GPUs domésticas com 12 a 24 GB de VRAM, e até para notebooks gratuitos na nuvem. Ele continua sendo a receita padrão em ferramentas populares de fine-tuning como Unsloth, Axolotl e as bibliotecas TRL e PEFT da Hugging Face.

Em profundidade

O QLoRA, apresentado em 2023 por Tim Dettmers e colegas da Universidade de Washington, combina duas ideias. Primeiro, carregar o modelo base em precisão de 4 bits em vez de 16 bits, o que reduz o uso de memória em cerca de 4 vezes. Segundo, manter esses pesos de 4 bits congelados e treinar por cima pequenos adaptadores LoRA em precisão mais alta. Os gradientes atravessam o modelo quantizado até os adaptadores, que são a única parte que aprende.

O resultado mais citado: foi possível fazer fine-tuning de um modelo de 65 bilhões de parâmetros em uma única GPU de 48 GB, com qualidade igual à do fine-tuning completo em 16 bits nos benchmarks testados.

Os três truques

O artigo do QLoRA apresentou três peças que, juntas, fazem o treinamento em 4 bits funcionar:

  • NF4 (4-bit NormalFloat): um tipo de dado de 4 bits pensado para a distribuição em forma de sino dos pesos das redes neurais, que perde menos informação do que inteiros de 4 bits simples.
  • Dupla quantização: as pequenas constantes de escala usadas pela quantização também são quantizadas, o que economiza mais uns 0,4 bit por parâmetro.
  • Otimizadores paginados: os estados do otimizador podem transbordar da memória da GPU para a da CPU durante picos de memória, o que evita falhas por falta de memória em sequências longas.

Orçamento aproximado de memória

Para um modelo de 7B a 8B: os pesos de 4 bits ocupam cerca de 4 a 5 GB, os adaptadores LoRA e seus estados do otimizador acrescentam algumas centenas de megabytes, e as ativações dependem do tamanho do batch e do tamanho da sequência. Na prática, 16 GB de VRAM são confortáveis para um modelo 8B com gradient checkpointing, e cerca de 48 GB dão conta de um modelo 70B.

Contrapartidas

O QLoRA é mais lento que o LoRA comum, muitas vezes 30% ou mais, porque os pesos precisam ser desquantizados na hora a cada passada para frente e para trás. A qualidade costuma ficar muito próxima da do LoRA em 16 bits, mas nem sempre idêntica, principalmente em tarefas sensíveis a pequenos detalhes numéricos.

Há também um detalhe na implantação. Os adaptadores foram treinados contra a versão de 4 bits do modelo. Dá para fundi-los a uma cópia em precisão completa do modelo base para servir, o que normalmente funciona bem, mas vale testar o resultado fundido em vez de presumir que ele é equivalente.

Quando usar

Use o QLoRA quando a memória for a limitação: modelo grande, GPU pequena. Se você tem VRAM sobrando, o LoRA simples em 16 bits é mais rápido e um pouco mais simples. Se o fine-tuning for de um modelo pequeno (de 1B a 3B), a economia pesa menos.

← Todos os termos
ESC