為什麼重要
MLA 是 DeepSeek 的模型部署成本低的原因之一。DeepSeek 報告說,在 DeepSeek-V2 中,與標準多頭注意力相比,它把 KV 快取減少了 90% 以上,品質持平甚至更好。同樣的設計延續到了 DeepSeek-V3 和 R1,這兩個模型在 2025 年初以前沿水準的效果和低廉的價格震動了整個產業。
對任何執行模型的人來說,快取更小意味著上下文更長、每塊 GPU 能同時服務的使用者更多、吞吐量更高。這讓 MLA 成了 GQA 的直接競爭者,而 GQA 仍是其他大多數開放模型的預設選擇。
深度解析
語言模型生成文字時會維護一個 KV 快取:把此前每個 token 在每一層的鍵和值都存起來,免得重複計算。上下文一長,這個快取就成了部署模型時最主要的記憶體開銷。Multi-head Latent Attention(MLA)由 DeepSeek 在 2024 年隨 DeepSeek-V2 提出,直接針對這項開銷。它不快取完整的鍵和值,而是為每個 token 快取一個很小的潛在向量,需要時再用它重建出鍵和值。
此前的方案,比如 Multi-Query Attention 和 Grouped-Query Attention,是靠讓多個頭共享鍵和值來省記憶體。MLA 讓每個頭保持獨立,改用壓縮的辦法。
低秩技巧
在標準注意力中,每個 token 的隱藏狀態會被投影成鍵和值,每個頭一組。MLA 先把隱藏狀態向下投影成一個小得多的潛在向量,再把這個潛在向量向上投影成所有頭的鍵和值。只有那個小小的潛在向量會被快取。從數學上看,鍵和值的投影被強制為低秩,這之所以可行,是因為各個頭的鍵和值高度冗餘。
在推論時,向上的投影可以合併進相鄰的矩陣裡,所以模型其實不必在每一步都重建完整的鍵和值。
位置問題
現代模型用 RoPE 編碼 token 的位置,它會根據位置旋轉查詢和鍵。這和壓縮有衝突:如果位置資訊被烙進了鍵裡,隨著序列變長,快取的潛在向量就得重新計算。MLA 用解耦 RoPE 解決這個問題:每個查詢多出來的少數幾個維度和一個共享的小鍵負責攜帶位置資訊,被壓縮的部分則不含位置。
MLA 與 GQA、MQA 的對比
- MQA:所有頭共享一個鍵/值頭。在共享類方法裡快取最小,但品質可能受損。
- GQA:頭在組內共享。折衷方案,也是業界預設做法。
- MLA:不共享,改為壓縮。快取大小接近 MQA,品質接近完整注意力,代價是設計更複雜。
採用情況
MLA 的實作和最佳化都比 GQA 複雜,推論引擎需要專門支援它。隨著 DeepSeek 的模型流行起來,vLLM、SGLang 等主要引擎都加入了這項支援。也有研究表明,現有的 GQA 模型可以在訓練後轉換成 MLA 式的注意力。MLA 會不會更大範圍地取代 GQA 還沒有定論,但它證明了 KV 快取可以壓縮的程度遠超多數人的想像。