QLoRA
Por que isso importa
Em profundidade
O QLoRA, apresentado em 2023 por Tim Dettmers e colegas da Universidade de Washington, combina duas ideias. Primeiro, carregar o modelo base em precisão de 4 bits em vez de 16 bits, o que reduz o uso de memória em cerca de 4 vezes. Segundo, manter esses pesos de 4 bits congelados e treinar por cima pequenos adaptadores LoRA em precisão mais alta. Os gradientes atravessam o modelo quantizado até os adaptadores, que são a única parte que aprende.
O resultado mais citado: foi possível fazer fine-tuning de um modelo de 65 bilhões de parâmetros em uma única GPU de 48 GB, com qualidade igual à do fine-tuning completo em 16 bits nos benchmarks testados.
Os três truques
O artigo do QLoRA apresentou três peças que, juntas, fazem o treinamento em 4 bits funcionar:
- NF4 (4-bit NormalFloat): um tipo de dado de 4 bits pensado para a distribuição em forma de sino dos pesos das redes neurais, que perde menos informação do que inteiros de 4 bits simples.
- Dupla quantização: as pequenas constantes de escala usadas pela quantização também são quantizadas, o que economiza mais uns 0,4 bit por parâmetro.
- Otimizadores paginados: os estados do otimizador podem transbordar da memória da GPU para a da CPU durante picos de memória, o que evita falhas por falta de memória em sequências longas.
Orçamento aproximado de memória
Para um modelo de 7B a 8B: os pesos de 4 bits ocupam cerca de 4 a 5 GB, os adaptadores LoRA e seus estados do otimizador acrescentam algumas centenas de megabytes, e as ativações dependem do tamanho do batch e do tamanho da sequência. Na prática, 16 GB de VRAM são confortáveis para um modelo 8B com gradient checkpointing, e cerca de 48 GB dão conta de um modelo 70B.
Contrapartidas
O QLoRA é mais lento que o LoRA comum, muitas vezes 30% ou mais, porque os pesos precisam ser desquantizados na hora a cada passada para frente e para trás. A qualidade costuma ficar muito próxima da do LoRA em 16 bits, mas nem sempre idêntica, principalmente em tarefas sensíveis a pequenos detalhes numéricos.
Há também um detalhe na implantação. Os adaptadores foram treinados contra a versão de 4 bits do modelo. Dá para fundi-los a uma cópia em precisão completa do modelo base para servir, o que normalmente funciona bem, mas vale testar o resultado fundido em vez de presumir que ele é equivalente.
Quando usar
Use o QLoRA quando a memória for a limitação: modelo grande, GPU pequena. Se você tem VRAM sobrando, o LoRA simples em 16 bits é mais rápido e um pouco mais simples. Se o fine-tuning for de um modelo pequeno (de 1B a 3B), a economia pesa menos.