跳到主要内容
Zubnet AI › 学习 › Wiki › MLA
模型

MLA

别名:Multi-head Latent Attention、多头潜在注意力
DeepSeek 提出的注意力设计,为每个 token 只存一个压缩后的小向量,而不是完整的键和值,从而大幅缩小 KV 缓存。

为什么重要

MLA 是 DeepSeek 的模型部署成本低的原因之一。DeepSeek 报告说,在 DeepSeek-V2 中,与标准多头注意力相比,它把 KV 缓存减少了 90% 以上,质量持平甚至更好。同样的设计延续到了 DeepSeek-V3 和 R1,这两个模型在 2025 年初以前沿水平的效果和低廉的价格震动了整个行业。

对任何运行模型的人来说,缓存更小意味着上下文更长、每块 GPU 能同时服务的用户更多、吞吐量更高。这让 MLA 成了 GQA 的直接竞争者,而 GQA 仍是其他大多数开放模型的默认选择。

深度解析

语言模型生成文本时会维护一个 KV 缓存:把此前每个 token 在每一层的键和值都存起来,免得重复计算。上下文一长,这个缓存就成了部署模型时最主要的内存开销。Multi-head Latent Attention(MLA)由 DeepSeek 在 2024 年随 DeepSeek-V2 提出,直接针对这项开销。它不缓存完整的键和值,而是为每个 token 缓存一个很小的潜在向量,需要时再用它重建出键和值。

此前的方案,比如 Multi-Query Attention 和 Grouped-Query Attention,是靠让多个头共享键和值来省内存。MLA 让每个头保持独立,改用压缩的办法。

低秩技巧

在标准注意力中,每个 token 的隐藏状态会被投影成键和值,每个头一组。MLA 先把隐藏状态向下投影成一个小得多的潜在向量,再把这个潜在向量向上投影成所有头的键和值。只有那个小小的潜在向量会被缓存。从数学上看,键和值的投影被强制为低秩,这之所以可行,是因为各个头的键和值高度冗余。

在推理时,向上的投影可以合并进相邻的矩阵里,所以模型其实不必在每一步都重建完整的键和值。

位置问题

现代模型用 RoPE 编码 token 的位置,它会根据位置旋转查询和键。这和压缩有冲突:如果位置信息被烙进了键里,随着序列变长,缓存的潜在向量就得重新计算。MLA 用解耦 RoPE 解决这个问题:每个查询多出来的少数几个维度和一个共享的小键负责携带位置信息,被压缩的部分则不含位置。

MLA 与 GQA、MQA 的对比

  • MQA:所有头共享一个键/值头。在共享类方法里缓存最小,但质量可能受损。
  • GQA:头在组内共享。折中方案,也是业界默认做法。
  • MLA:不共享,改为压缩。缓存大小接近 MQA,质量接近完整注意力,代价是设计更复杂。

采用情况

MLA 的实现和优化都比 GQA 复杂,推理引擎需要专门支持它。随着 DeepSeek 的模型流行起来,vLLM、SGLang 等主要引擎都加入了这项支持。也有研究表明,现有的 GQA 模型可以在训练后转换成 MLA 式的注意力。MLA 会不会更大范围地取代 GQA 还没有定论,但它证明了 KV 缓存可以压缩的程度远超多数人的想象。

← 所有术语
ESC