Multi-Query Attention
Pourquoi c'est important
Pendant la génération de texte, le goulot d'étranglement n'est généralement pas le calcul de l'attention, mais le chargement du cache KV depuis la mémoire pour chaque nouveau token. Ce cache grandit avec la longueur du contexte, le nombre de couches et le nombre de têtes de clés/valeurs. La MQA ramène ce nombre de têtes à un, ce qui réduit fortement le cache et permet à un serveur de faire tenir des contextes plus longs ou beaucoup plus d'utilisateurs sur le même GPU.
La MQA a été utilisée dans des modèles comme PaLM de Google et le premier Falcon. Elle a aussi directement inspiré la Grouped-Query Attention (GQA), le compromis que la plupart des modèles ouverts utilisent aujourd'hui.
En profondeur
Dans l'attention multi-têtes standard, chaque tête d'attention a ses propres requêtes, clés et valeurs. Un modèle à 32 têtes stocke 32 jeux de clés et de valeurs pour chaque token du contexte. La Multi-Query Attention, proposée par Noam Shazeer en 2019, conserve les 32 têtes de requête distinctes mais leur fait partager une seule tête de clés et une seule tête de valeurs.
Le modèle regarde toujours le contexte de 32 façons différentes, puisque les requêtes diffèrent. Mais la mémoire nécessaire pour se souvenir du contexte est divisée par un facteur allant jusqu'à 32.
Le calcul de mémoire
La taille du cache KV vaut à peu près : 2 (clés et valeurs) × couches × têtes KV × dimension de tête × longueur de séquence × octets par valeur. Prenez un modèle de 32 couches, 32 têtes de dimension 128, en FP16, avec 32K tokens de contexte. Avec l'attention multi-têtes complète, le cache pèse environ 16 Go par séquence. Avec la MQA, environ 0,5 Go. Cet écart décide si l'on peut servir une longue conversation par GPU ou des dizaines.
Le coût en qualité
Partager un seul jeu de clés et de valeurs est une forte contrainte. Chaque tête doit trouver ce qu'il lui faut dans la même représentation, ce qui peut nuire à la qualité, surtout sur les tâches difficiles. Les modèles MQA étaient aussi souvent moins stables à l'entraînement. C'est pourquoi le domaine est largement passé à :
- GQA (Grouped-Query Attention) : les têtes de requête sont réparties en groupes, et chaque groupe partage une tête de clés/valeurs. Avec 32 têtes de requête et 8 têtes KV, on économise 4 fois le cache presque sans perte de qualité. Llama 2 70B, Llama 3, Mistral et bien d'autres l'utilisent.
- MLA (Multi-head Latent Attention) : introduite par DeepSeek, elle compresse les clés et les valeurs dans un petit vecteur latent et les développe au besoin, ce qui réduit encore le cache tout en gardant une bonne qualité.
La MQA est en fait l'extrémité du spectre GQA : une GQA à un seul groupe.
Convertir des modèles existants
Pas besoin d'entraîner depuis zéro. L'article sur la GQA a montré qu'on peut convertir un modèle multi-têtes en GQA ou en MQA en faisant la moyenne de ses têtes de clés et de valeurs existantes pour en obtenir moins, puis en l'entraînant brièvement (environ 5 % du calcul de pré-entraînement d'origine) pour retrouver la qualité.
Quand cela vous concerne
Si vous servez des modèles vous-même, le nombre de têtes KV (souvent indiqué par num_key_value_heads dans la configuration du modèle) vous dit à quel point les longs contextes seront gourmands en mémoire. Un modèle avec num_key_value_heads: 1 est en MQA ; une valeur inférieure à num_attention_heads indique de la GQA.