為什麼重要
生成文字時,瓶頸通常不在於計算注意力,而在於每生成一個新 token 都要從記憶體裡讀取 KV 快取。這個快取隨上下文長度、層數和鍵/值頭的數量增長。MQA 把頭數減到一個,快取大幅縮小,伺服器就能在同一塊 GPU 上容納更長的上下文或多得多的使用者。
Google 的 PaLM 和最初的 Falcon 等模型都用過 MQA。它還直接啟發了分組查詢注意力(GQA),也就是今天大多數開放模型採用的折衷方案。
深度解析
在標準的多頭注意力裡,每個注意力頭都有自己的查詢、鍵和值。一個有 32 個頭的模型,要為上下文裡的每個 token 存 32 組鍵和值。多查詢注意力(MQA)由 Noam Shazeer 在 2019 年提出,它保留 32 個獨立的查詢頭,但讓它們全部共享一個鍵頭和一個值頭。
模型仍然以 32 種不同的方式查看上下文,因為查詢各不相同。但它記住上下文所需的記憶體最多可以減少到原來的 1/32。
算一算記憶體
KV 快取的大小大約是:2(鍵和值)× 層數 × KV 頭數 × 每個頭的維度 × 序列長度 × 每個數值的位元組數。以一個 32 層、32 個頭、每頭 128 維、FP16 精度、32K token 上下文的模型為例。用完整的多頭注意力,每條序列的快取約 16 GB。用 MQA 則約 0.5 GB。這個差別決定了一塊 GPU 是只能服務一場長對話,還是能服務幾十場。
品質上的代價
共享同一組鍵和值是很強的約束。每個頭都得在同一份表示裡找到自己需要的東西,這可能損害品質,在較難的任務上尤其明顯。MQA 模型在訓練時也往往不太穩定。因此業界大體上轉向了:
- GQA(分組查詢注意力):把查詢頭分成若干組,每組共享一個鍵/值頭。用 32 個查詢頭和 8 個 KV 頭,快取能省 4 倍,品質幾乎沒有損失。Llama 2 70B、Llama 3、Mistral 等許多模型都用它。
- MLA(多頭潛在注意力):由 DeepSeek 提出,把鍵和值壓縮成一個很小的潛在向量,需要時再展開,在保持高品質的同時進一步縮小快取。
MQA 其實就是 GQA 這條光譜的極端:只有一個組的 GQA。
轉換現有模型
不必從頭訓練。GQA 的論文表明,可以把一個多頭模型「升級訓練」(uptrain)成 GQA 或 MQA:把現有的鍵頭和值頭取平均,合併成更少的頭,然後再短暫訓練一下(約為原始預訓練算力的 5%)來恢復品質。
什麼時候和你有關
如果你自己部署模型,KV 頭的數量(在模型設定裡通常寫作 num_key_value_heads)能告訴你長上下文會多吃記憶體。num_key_value_heads: 1 的模型是 MQA;這個值小於 num_attention_heads 的是 GQA。