Saltar al contenido principal
Zubnet AI › Aprender › Wiki › MLA
Modelos

MLA

También conocido como: Multi-head Latent Attention, Atención latente multi-cabeza
El diseño de atención de DeepSeek, que guarda un pequeño vector comprimido por token en lugar de las claves y los valores completos y reduce drásticamente la caché KV.

Por qué importa

MLA es una de las razones por las que los modelos de DeepSeek son baratos de servir. DeepSeek informó de que, en DeepSeek-V2, redujo la caché KV en más de un 90 % frente a la atención multi-cabeza estándar, igualando o superando su calidad. El mismo diseño pasó a DeepSeek-V3 y R1, los modelos que sacudieron la industria a principios de 2025 con resultados de frontera a precios bajos.

Para cualquiera que ejecute modelos, una caché más pequeña significa contextos más largos, más usuarios simultáneos por GPU y un rendimiento (throughput) más alto. Eso convierte a MLA en una competidora directa de GQA, que sigue siendo la opción por defecto en la mayoría de los demás modelos abiertos.

En profundidad

Cuando un modelo de lenguaje genera texto, mantiene una caché KV: las claves y los valores de cada token anterior, para cada capa, de modo que no tenga que recalcularlos. En contextos largos, esta caché se convierte en el principal costo de memoria de servir un modelo. Multi-head Latent Attention, presentada por DeepSeek con DeepSeek-V2 en 2024, ataca ese costo directamente. En lugar de guardar en caché las claves y los valores completos, guarda un pequeño vector latente por token y reconstruye las claves y los valores a partir de él cuando hacen falta.

Las soluciones anteriores, como Multi-Query Attention y Grouped-Query Attention, ahorraban memoria haciendo que las cabezas compartieran claves y valores. MLA mantiene cada cabeza distinta y, en su lugar, comprime.

El truco del bajo rango

En la atención estándar, el estado oculto de cada token se proyecta en claves y valores, un juego por cabeza. MLA primero proyecta el estado oculto hacia abajo, a un vector latente mucho más pequeño, y luego proyecta ese latente hacia arriba para obtener las claves y los valores de todas las cabezas. Solo se guarda en caché el pequeño latente. Matemáticamente, se obliga a que las proyecciones de claves y valores sean de bajo rango, lo cual funciona porque las claves y los valores de las distintas cabezas son muy redundantes.

En inferencia, la proyección hacia arriba puede integrarse en las matrices vecinas, de modo que el modelo no tiene que reconstruir realmente las claves y los valores completos en cada paso.

El problema de la posición

Los modelos modernos codifican la posición de los tokens con RoPE, que rota las consultas y las claves según la posición. Eso choca con la compresión: si la posición va incorporada en las claves, el latente en caché tendría que recalcularse a medida que crece la secuencia. MLA lo resuelve con un RoPE desacoplado: unas pocas dimensiones adicionales de cada consulta y una pequeña clave compartida llevan la información posicional, mientras que la parte comprimida queda libre de posición.

MLA frente a GQA y MQA

  • MQA: todas las cabezas comparten una sola cabeza de claves y valores. La caché más pequeña entre los métodos de compartición, pero la calidad puede resentirse.
  • GQA: las cabezas comparten dentro de grupos. Un punto intermedio, y el estándar de la industria.
  • MLA: sin compartir, comprimiendo. Un tamaño de caché cercano al de MQA con una calidad cercana a la de la atención completa, a costa de un diseño más complejo.

Adopción

MLA es más complicada de implementar y optimizar que GQA, y los motores de inferencia necesitaron soporte específico para ella. vLLM, SGLang y otros motores importantes añadieron ese soporte a medida que los modelos de DeepSeek se hacían populares. La investigación también ha mostrado que los modelos GQA existentes pueden convertirse a una atención de tipo MLA después del entrenamiento. Si MLA reemplazará a GQA de forma más amplia sigue abierto, pero demostró que la caché KV puede comprimirse mucho más de lo que la mayoría suponía.

← Todos los términos
ESC