Aller au contenu principal
Zubnet AI › Apprendre › Wiki › MLA
Modèles

MLA

Aussi appelé : Multi-head Latent Attention, Attention latente multi-tête
Le mécanisme d'attention de DeepSeek, qui stocke un petit vecteur compressé par token au lieu des clés et valeurs complètes, ce qui réduit énormément le cache KV.

Pourquoi c'est important

MLA est l'une des raisons pour lesquelles les modèles de DeepSeek coûtent peu à servir. DeepSeek a indiqué qu'elle réduisait le cache KV de plus de 90 % par rapport à l'attention multi-tête standard dans DeepSeek-V2, avec une qualité égale ou supérieure. La même conception a été reprise dans DeepSeek-V3 et R1, les modèles qui ont secoué l'industrie début 2025 avec des résultats de pointe à bas prix.

Pour quiconque fait tourner des modèles, un cache plus petit signifie des contextes plus longs, plus d'utilisateurs simultanés par GPU et un débit plus élevé. Cela fait de MLA une concurrente directe de GQA, qui reste le choix par défaut dans la plupart des autres modèles ouverts.

En profondeur

Quand un modèle de langage génère du texte, il conserve un cache KV : les clés et les valeurs de chaque token précédent, pour chaque couche, afin de ne pas les recalculer. Sur de longs contextes, ce cache devient le principal coût en mémoire du service d'un modèle. La Multi-head Latent Attention, introduite par DeepSeek avec DeepSeek-V2 en 2024, s'attaque directement à ce coût. Au lieu de mettre en cache les clés et les valeurs complètes, elle met en cache un petit vecteur latent par token et reconstruit les clés et les valeurs à partir de lui quand elles sont nécessaires.

Les solutions précédentes, comme la Multi-Query Attention et la Grouped-Query Attention, économisaient de la mémoire en faisant partager les clés et les valeurs entre les têtes. MLA garde chaque tête distincte et compresse à la place.

L'astuce du faible rang

Dans l'attention standard, l'état caché de chaque token est projeté en clés et en valeurs, un jeu par tête. MLA projette d'abord l'état caché vers le bas, dans un vecteur latent beaucoup plus petit, puis projette ce latent vers le haut pour obtenir les clés et les valeurs de toutes les têtes. Seul le petit latent est mis en cache. Mathématiquement, les projections des clés et des valeurs sont contraintes à être de faible rang, ce qui fonctionne parce que les clés et les valeurs des différentes têtes sont très redondantes.

À l'inférence, la projection vers le haut peut être absorbée dans les matrices voisines, si bien que le modèle n'a pas réellement à reconstruire les clés et les valeurs complètes à chaque étape.

Le problème de la position

Les modèles modernes encodent la position des tokens avec RoPE, qui fait tourner les requêtes et les clés en fonction de la position. Cela entre en conflit avec la compression : si la position est intégrée aux clés, le latent mis en cache devrait être recalculé à mesure que la séquence s'allonge. MLA résout ce problème avec un RoPE découplé : quelques dimensions supplémentaires de chaque requête et une petite clé partagée portent l'information de position, tandis que la partie compressée reste indépendante de la position.

MLA face à GQA et MQA

  • MQA : toutes les têtes partagent une seule tête de clés et de valeurs. Le plus petit cache parmi les méthodes de partage, mais la qualité peut en souffrir.
  • GQA : les têtes partagent au sein de groupes. Un juste milieu, et le standard de l'industrie.
  • MLA : pas de partage, de la compression à la place. Une taille de cache proche de MQA avec une qualité proche de l'attention complète, au prix d'une conception plus complexe.

Adoption

MLA est plus compliquée à implémenter et à optimiser que GQA, et les moteurs d'inférence ont dû la prendre en charge spécifiquement. vLLM, SGLang et d'autres moteurs majeurs ont ajouté cette prise en charge à mesure que les modèles de DeepSeek gagnaient en popularité. Des travaux de recherche ont aussi montré que des modèles GQA existants peuvent être convertis à une attention de type MLA après l'entraînement. Que MLA remplace plus largement GQA reste une question ouverte, mais elle a montré que le cache KV peut être compressé bien plus que la plupart des gens ne le pensaient.

← Tous les termes
ESC