Multi-Query Attention
Por que isso importa
Durante a geração de texto, o gargalo normalmente não é calcular a atenção, e sim carregar o cache KV da memória a cada novo token. Esse cache cresce com o tamanho do contexto, o número de camadas e o número de cabeças de chaves/valores. A MQA reduz o número de cabeças para uma, o que encolhe o cache de forma drástica e permite que um servidor acomode contextos mais longos ou muito mais usuários na mesma GPU.
A MQA foi usada em modelos como o PaLM, do Google, e o Falcon original. Ela também inspirou diretamente a Grouped-Query Attention (GQA), o meio-termo que a maioria dos modelos abertos usa hoje.
Em profundidade
Na atenção multi-cabeça padrão, cada cabeça de atenção tem suas próprias consultas, chaves e valores. Um modelo com 32 cabeças guarda 32 conjuntos de chaves e valores para cada token do contexto. A Multi-Query Attention, proposta por Noam Shazeer em 2019, mantém as 32 cabeças de consulta separadas, mas faz todas compartilharem uma única cabeça de chaves e uma única cabeça de valores.
O modelo continua olhando para o contexto de 32 maneiras diferentes, porque as consultas são diferentes. Mas a memória de que ele precisa para lembrar o contexto cai em até 32 vezes.
A conta de memória
O tamanho do cache KV é aproximadamente: 2 (chaves e valores) × camadas × cabeças KV × dimensão da cabeça × tamanho da sequência × bytes por valor. Pegue um modelo com 32 camadas e 32 cabeças de dimensão 128, em FP16, com 32K tokens de contexto. Com atenção multi-cabeça completa, o cache ocupa cerca de 16 GB por sequência. Com MQA, cerca de 0,5 GB. Essa diferença decide se você consegue atender uma conversa longa por GPU ou dezenas.
O custo em qualidade
Compartilhar um único conjunto de chaves e valores é uma restrição grande. Todas as cabeças precisam encontrar o que querem na mesma representação, o que pode prejudicar a qualidade, principalmente em tarefas difíceis. Modelos com MQA também tendiam a ser menos estáveis no treinamento. Por isso a área migrou em grande parte para:
- GQA (Grouped-Query Attention): as cabeças de consulta são divididas em grupos, e cada grupo compartilha uma cabeça de chaves/valores. Com 32 cabeças de consulta e 8 cabeças KV, você economiza 4 vezes o cache quase sem perder qualidade. Llama 2 70B, Llama 3, Mistral e muitos outros a usam.
- MLA (Multi-head Latent Attention): apresentada pela DeepSeek, comprime chaves e valores em um vetor latente pequeno e os expande quando necessário, o que reduz o cache ainda mais mantendo a qualidade alta.
Na prática, a MQA é o extremo do espectro da GQA: GQA com um único grupo.
Convertendo modelos existentes
Não é preciso treinar do zero. O artigo da GQA mostrou que dá para converter um modelo multi-cabeça em GQA ou MQA tirando a média das cabeças de chaves e valores existentes para obter menos cabeças, e depois treinando por pouco tempo (cerca de 5% da computação do pré-treinamento original) para recuperar a qualidade.
Quando isso importa para você
Se você serve modelos por conta própria, o número de cabeças KV (que costuma aparecer como num_key_value_heads na configuração do modelo) indica o quanto contextos longos vão consumir de memória. Um modelo com num_key_value_heads: 1 usa MQA; um valor menor que num_attention_heads indica GQA.