O mecanismo: para cada cabeça i, o modelo aprende matrizes de projeção separadas W_Q^i, W_K^i, W_V^i que projetam a entrada em um espaço de menor dimensão (head_dim = model_dim / num_heads). Cada cabeça computa atenção independentemente: softmax(Q_i · K_i^T / √d) · V_i. As saídas de todas as cabeças são concatenadas e projetadas de volta à dimensão completa do modelo através de uma camada linear final W_O.
Pesquisas mostram que diferentes cabeças aprendem diferentes funções. Algumas cabeças prestam atenção ao token anterior (posicional). Algumas prestam atenção a tokens sintaticamente relacionados (sujeito ao seu verbo). Algumas implementam "indução" (completação de padrões). Algumas prestam atenção amplamente (coletando contexto global). Nem todas as cabeças são igualmente importantes — podar 20–40% das cabeças frequentemente tem impacto mínimo no desempenho, sugerindo redundância significativa.
Multi-Query Attention (MQA) usa uma única cabeça key-value compartilhada entre todas as cabeças de query, reduzindo o tamanho do KV cache pelo número de cabeças. Grouped-Query Attention (GQA) é um meio-termo: grupos de cabeças de query compartilham uma cabeça key-value (ex.: 32 cabeças de query com 8 cabeças KV). GQA preserva a maior parte da qualidade do MHA enquanto reduz dramaticamente a memória para KV cache. Llama 2 70B, Mistral e a maioria dos LLMs modernos usam GQA.