Saltar al contenido principal
Zubnet AI › Aprender › Wiki › Multi-Query Attention
Modelos

Multi-Query Attention

También conocido como: MQA, Atención multiconsulta
Un diseño de atención en el que todas las cabezas de consulta comparten un único conjunto de claves y valores, lo que reduce la caché KV y acelera la inferencia.

Por qué importa

Durante la generación de texto, el cuello de botella no suele ser calcular la atención, sino cargar la caché KV desde la memoria para cada token nuevo. Esa caché crece con la longitud del contexto, el número de capas y el número de cabezas de claves/valores. MQA reduce el número de cabezas a una, lo que encoge la caché de forma drástica y permite que un servidor aloje contextos más largos o muchos más usuarios en la misma GPU.

MQA se usó en modelos como PaLM de Google y el Falcon original. También inspiró directamente Grouped-Query Attention (GQA), el punto intermedio que usan hoy la mayoría de los modelos abiertos.

En profundidad

En la atención multicabeza estándar, cada cabeza de atención tiene sus propias consultas, claves y valores. Un modelo con 32 cabezas guarda 32 conjuntos de claves y valores por cada token del contexto. Multi-Query Attention, propuesta por Noam Shazeer en 2019, mantiene las 32 cabezas de consulta separadas, pero hace que todas compartan una sola cabeza de claves y una sola cabeza de valores.

El modelo sigue mirando el contexto de 32 maneras distintas, porque las consultas son diferentes. Pero la memoria que necesita para recordar el contexto se reduce hasta 32 veces.

Las cuentas de memoria

El tamaño de la caché KV es aproximadamente: 2 (claves y valores) × capas × cabezas KV × dimensión por cabeza × longitud de secuencia × bytes por valor. Toma un modelo de 32 capas y 32 cabezas de dimensión 128, en FP16, con 32K tokens de contexto. Con atención multicabeza completa, la caché ocupa unos 16 GB por secuencia. Con MQA, unos 0,5 GB. Esa diferencia decide si puedes servir una conversación larga por GPU o decenas.

El costo en calidad

Compartir un único conjunto de claves y valores es una restricción grande. Todas las cabezas tienen que encontrar lo que necesitan en la misma representación, lo que puede perjudicar la calidad, sobre todo en tareas difíciles. Los modelos con MQA también tendían a ser menos estables durante el entrenamiento. Por eso el campo se movió en gran parte hacia:

  • GQA (Grouped-Query Attention): las cabezas de consulta se dividen en grupos, y cada grupo comparte una cabeza de claves/valores. Con 32 cabezas de consulta y 8 cabezas KV, ahorras 4 veces la caché casi sin perder calidad. La usan Llama 2 70B, Llama 3, Mistral y muchos otros.
  • MLA (Multi-head Latent Attention): presentada por DeepSeek, comprime las claves y los valores en un vector latente pequeño y los expande cuando hace falta, lo que reduce la caché todavía más manteniendo una calidad alta.

En realidad, MQA es el extremo del espectro de GQA: GQA con un solo grupo.

Convertir modelos existentes

No hace falta entrenar desde cero. El artículo de GQA mostró que se puede convertir un modelo multicabeza a GQA o MQA promediando sus cabezas de claves y valores existentes en menos cabezas, y entrenando después brevemente (alrededor del 5 % del cómputo del preentrenamiento original) para recuperar la calidad.

Cuándo te importa

Si sirves modelos por tu cuenta, el número de cabezas KV (que suele aparecer como num_key_value_heads en la configuración del modelo) te dice cuánta memoria van a pedir los contextos largos. Un modelo con num_key_value_heads: 1 usa MQA; un valor menor que num_attention_heads indica GQA.

← Todos los términos
ESC