为什么重要
生成文本时,瓶颈通常不在于计算注意力,而在于每生成一个新 token 都要从内存里读取 KV 缓存。这个缓存随上下文长度、层数和键/值头的数量增长。MQA 把头数减到一个,缓存大幅缩小,服务器就能在同一块 GPU 上容纳更长的上下文或多得多的用户。
Google 的 PaLM 和最初的 Falcon 等模型都用过 MQA。它还直接启发了分组查询注意力(GQA),也就是今天大多数开放模型采用的折中方案。
深度解析
在标准的多头注意力里,每个注意力头都有自己的查询、键和值。一个有 32 个头的模型,要为上下文里的每个 token 存 32 组键和值。多查询注意力(MQA)由 Noam Shazeer 在 2019 年提出,它保留 32 个独立的查询头,但让它们全部共享一个键头和一个值头。
模型仍然以 32 种不同的方式查看上下文,因为查询各不相同。但它记住上下文所需的内存最多可以减少到原来的 1/32。
算一算内存
KV 缓存的大小大约是:2(键和值)× 层数 × KV 头数 × 每个头的维度 × 序列长度 × 每个数值的字节数。以一个 32 层、32 个头、每头 128 维、FP16 精度、32K token 上下文的模型为例。用完整的多头注意力,每条序列的缓存约 16 GB。用 MQA 则约 0.5 GB。这个差别决定了一块 GPU 是只能服务一场长对话,还是能服务几十场。
质量上的代价
共享同一组键和值是很强的约束。每个头都得在同一份表示里找到自己需要的东西,这可能损害质量,在较难的任务上尤其明显。MQA 模型在训练时也往往不太稳定。因此业界大体上转向了:
- GQA(分组查询注意力):把查询头分成若干组,每组共享一个键/值头。用 32 个查询头和 8 个 KV 头,缓存能省 4 倍,质量几乎没有损失。Llama 2 70B、Llama 3、Mistral 等许多模型都用它。
- MLA(多头潜在注意力):由 DeepSeek 提出,把键和值压缩成一个很小的潜在向量,需要时再展开,在保持高质量的同时进一步缩小缓存。
MQA 其实就是 GQA 这条光谱的极端:只有一个组的 GQA。
转换现有模型
不必从头训练。GQA 的论文表明,可以把一个多头模型“升级训练”(uptrain)成 GQA 或 MQA:把现有的键头和值头取平均,合并成更少的头,然后再短暂训练一下(约为原始预训练算力的 5%)来恢复质量。
什么时候和你有关
如果你自己部署模型,KV 头的数量(在模型配置里通常写作 num_key_value_heads)能告诉你长上下文会多吃内存。num_key_value_heads: 1 的模型是 MQA;这个值小于 num_attention_heads 的是 GQA。