Multi-Query Attention
यह क्यों मायने रखता है
Text generation के दौरान bottleneck आमतौर पर attention की गणना नहीं होता, बल्कि हर नए token के लिए memory से KV cache load करना होता है। यह cache context length, layers की संख्या और key/value heads की संख्या के साथ बढ़ता है। MQA heads की संख्या एक कर देता है, जिससे cache बहुत छोटा हो जाता है और server उसी GPU पर लंबे contexts या कहीं ज़्यादा users संभाल सकता है।
MQA का इस्तेमाल Google के PaLM और मूल Falcon जैसे models में हुआ। इसी से सीधे Grouped-Query Attention (GQA) की प्रेरणा मिली, जो वह समझौता है जिसे आज ज़्यादातर open models इस्तेमाल करते हैं।
गहन अध्ययन
Standard multi-head attention में हर attention head के अपने queries, keys और values होते हैं। 32 heads वाला model context के हर token के लिए keys और values के 32 sets रखता है। Multi-Query Attention, जिसे Noam Shazeer ने 2019 में प्रस्तावित किया था, 32 अलग query heads तो रखता है, लेकिन उन सबसे सिर्फ़ एक key head और एक value head share करवाता है।
Model अब भी context को 32 अलग तरीकों से देखता है, क्योंकि queries अलग हैं। लेकिन context को याद रखने के लिए ज़रूरी memory 32 गुना तक घट जाती है।
Memory का हिसाब
KV cache का आकार मोटे तौर पर यह है: 2 (keys और values) × layers × KV heads × head dimension × sequence length × हर मान के bytes। एक ऐसा model लीजिए जिसमें 32 layers हों, 128 dimension के 32 heads हों, FP16 हो और 32K tokens का context हो। पूरे multi-head attention में cache हर sequence के लिए करीब 16 GB होता है। MQA में करीब 0.5 GB। यही फ़र्क तय करता है कि आप एक GPU पर एक लंबी बातचीत serve कर पाएँगे या दर्जनों।
Quality की कीमत
Keys और values का एक ही set share करना बड़ी पाबंदी है। हर head को अपनी ज़रूरत की चीज़ उसी एक representation में ढूँढनी पड़ती है, जिससे quality गिर सकती है, खासकर कठिन कामों पर। MQA models training के दौरान कम stable भी रहते थे। इसीलिए field ज़्यादातर इन तरीकों की ओर बढ़ गया:
- GQA (Grouped-Query Attention): query heads को groups में बाँटा जाता है और हर group एक key/value head share करता है। 32 query heads और 8 KV heads के साथ cache में 4 गुना बचत होती है और quality लगभग नहीं गिरती। Llama 2 70B, Llama 3, Mistral और कई दूसरे models इसे इस्तेमाल करते हैं।
- MLA (Multi-head Latent Attention): DeepSeek का तरीका, जो keys और values को एक छोटे latent vector में compress करता है और ज़रूरत पड़ने पर फैलाता है। इससे cache और भी घटता है और quality ऊँची रहती है।
MQA असल में GQA spectrum का आखिरी छोर है: एक group वाला GQA।
मौजूदा models को बदलना
Scratch से train करना ज़रूरी नहीं है। GQA paper ने दिखाया कि multi-head model को GQA या MQA में "uptrain" किया जा सकता है: उसके मौजूदा key और value heads का औसत लेकर कम heads बनाइए और फिर quality वापस पाने के लिए थोड़ी देर train कीजिए (मूल pre-training compute का करीब 5%)।
यह आपके लिए कब मायने रखता है
अगर आप models खुद serve करते हैं, तो KV heads की संख्या (model config में अक्सर num_key_value_heads के नाम से) बताती है कि लंबे contexts कितनी memory खाएँगे। num_key_value_heads: 1 वाला model MQA है। num_attention_heads से छोटा मान GQA है।