MLA
Por que isso importa
A MLA é um dos motivos pelos quais os modelos da DeepSeek são baratos de servir. A DeepSeek relatou que, no DeepSeek-V2, ela reduziu o cache KV em mais de 90% em relação à atenção multi-cabeça padrão, igualando ou superando a qualidade. O mesmo design seguiu para o DeepSeek-V3 e o R1, os modelos que sacudiram o setor no início de 2025 com resultados de fronteira a preços baixos.
Para quem roda modelos, um cache menor significa contextos mais longos, mais usuários simultâneos por GPU e throughput maior. Isso faz da MLA uma concorrente direta do GQA, que continua sendo o padrão na maioria dos outros modelos abertos.
Em profundidade
Quando um modelo de linguagem gera texto, ele mantém um cache KV: as chaves e os valores de cada token anterior, para cada camada, para não precisar recalculá-los. Em contextos longos, esse cache se torna o principal custo de memória de servir um modelo. A Multi-head Latent Attention, apresentada pela DeepSeek com o DeepSeek-V2 em 2024, ataca esse custo diretamente. Em vez de guardar em cache as chaves e os valores completos, ela guarda um pequeno vetor latente por token e reconstrói as chaves e os valores a partir dele quando são necessários.
Soluções anteriores, como Multi-Query Attention e Grouped-Query Attention, economizavam memória fazendo as cabeças compartilharem chaves e valores. A MLA mantém cada cabeça distinta e, em vez disso, comprime.
O truque do baixo rank
Na atenção padrão, o estado oculto de cada token é projetado em chaves e valores, um conjunto por cabeça. A MLA primeiro projeta o estado oculto para baixo, em um vetor latente muito menor, e depois projeta esse latente para cima, nas chaves e nos valores de todas as cabeças. Só o pequeno latente fica em cache. Matematicamente, as projeções de chaves e valores são forçadas a ter baixo rank, o que funciona porque as chaves e os valores das diferentes cabeças são altamente redundantes.
Na inferência, a projeção para cima pode ser incorporada às matrizes vizinhas, de modo que o modelo não precisa de fato reconstruir as chaves e os valores completos a cada passo.
O problema da posição
Os modelos modernos codificam a posição dos tokens com RoPE, que rotaciona consultas e chaves de acordo com a posição. Isso entra em conflito com a compressão: se a posição está embutida nas chaves, o latente em cache teria de ser recalculado conforme a sequência cresce. A MLA resolve isso com o RoPE desacoplado: algumas dimensões extras de cada consulta e uma pequena chave compartilhada carregam a informação posicional, enquanto a parte comprimida fica livre de posição.
MLA versus GQA e MQA
- MQA: todas as cabeças compartilham uma única cabeça de chaves e valores. O menor cache entre os métodos de compartilhamento, mas a qualidade pode sofrer.
- GQA: as cabeças compartilham dentro de grupos. Um meio-termo, e o padrão do setor.
- MLA: sem compartilhamento, com compressão no lugar. Tamanho de cache próximo ao do MQA com qualidade próxima à da atenção completa, ao custo de um design mais complexo.
Adoção
A MLA é mais complicada de implementar e otimizar do que o GQA, e os motores de inferência precisaram de suporte específico para ela. vLLM, SGLang e outros motores importantes adicionaram esse suporte à medida que os modelos da DeepSeek ficaram populares. Pesquisas também mostraram que modelos GQA existentes podem ser convertidos para uma atenção no estilo MLA depois do treinamento. Se a MLA vai substituir o GQA de forma mais ampla ainda é uma questão em aberto, mas ela mostrou que o cache KV pode ser comprimido muito mais do que a maioria imaginava.