मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › MLA
मॉडल

MLA

इसे भी कहा जाता है: Multi-head Latent Attention
DeepSeek का attention design जो हर token के लिए पूरे keys और values की जगह एक छोटा compressed vector रखता है, जिससे KV cache बहुत छोटा हो जाता है।

यह क्यों मायने रखता है

MLA उन कारणों में से एक है जिनकी वजह से DeepSeek के models serve करना सस्ता है। DeepSeek ने बताया कि DeepSeek-V2 में इसने standard multi-head attention की तुलना में KV cache को 90% से ज़्यादा घटा दिया, और quality बराबर या बेहतर रही। यही design DeepSeek-V3 और R1 में भी गया, जिन models ने 2025 की शुरुआत में कम कीमत पर frontier-level नतीजे देकर पूरी industry को हिला दिया।

जो भी models चलाता है, उसके लिए छोटे cache का मतलब है लंबे contexts, हर GPU पर एक साथ ज़्यादा users और ज़्यादा throughput। इस वजह से MLA सीधे GQA का प्रतिद्वंद्वी है, जो बाकी ज़्यादातर open models में अब भी default है।

गहन अध्ययन

जब कोई language model text generate करता है, तो वह एक KV cache रखता है: हर पिछले token के keys और values, हर layer के लिए, ताकि उन्हें दोबारा compute न करना पड़े। लंबे contexts में यही cache model serve करने का सबसे बड़ा memory खर्च बन जाता है। Multi-head Latent Attention, जिसे DeepSeek ने 2024 में DeepSeek-V2 के साथ पेश किया, सीधे इसी खर्च पर वार करता है। पूरे keys और values cache करने की जगह यह हर token के लिए एक छोटा latent vector cache करता है और ज़रूरत पड़ने पर उसी से keys और values दोबारा बना लेता है।

पहले के उपाय, जैसे Multi-Query Attention और Grouped-Query Attention, heads के बीच keys और values share करवाकर memory बचाते थे। MLA हर head को अलग रखता है और share करने की जगह compress करता है।

Low-Rank की तरकीब

Standard attention में हर token का hidden state keys और values में project किया जाता है, हर head के लिए एक set। MLA पहले hidden state को नीचे एक बहुत छोटे latent vector में project करता है, और फिर उस latent को ऊपर सभी heads के keys और values में project करता है। Cache में सिर्फ़ वही छोटा latent रखा जाता है। गणित की भाषा में, keys और values के projections को low-rank रहने पर मजबूर किया जाता है, और यह इसलिए काम करता है क्योंकि अलग-अलग heads के keys और values में बहुत ज़्यादा दोहराव होता है।

Inference के समय ऊपर वाला projection पड़ोसी matrices में मिलाया जा सकता है, इसलिए model को असल में हर step पर पूरे keys और values दोबारा नहीं बनाने पड़ते।

Position की समस्या

Modern models tokens की position को RoPE से encode करते हैं, जो position के हिसाब से queries और keys को घुमाता है। यह compression से टकराता है: अगर position keys के भीतर ही बैठी हो, तो sequence बढ़ने के साथ cache किया हुआ latent दोबारा compute करना पड़ेगा। MLA इसे decoupled RoPE से सुलझाता है: हर query के कुछ अतिरिक्त dimensions और एक छोटी shared key position की जानकारी ढोते हैं, जबकि compressed हिस्सा position से मुक्त रहता है।

MLA बनाम GQA और MQA

  • MQA: सभी heads एक ही key/value head share करते हैं। Sharing वाले तरीकों में सबसे छोटा cache, लेकिन quality गिर सकती है।
  • GQA: heads groups के भीतर share करते हैं। बीच का रास्ता, और industry का default।
  • MLA: कोई sharing नहीं, उसकी जगह compression। Cache का size MQA के करीब और quality पूरे attention के करीब, लेकिन design ज़्यादा जटिल।

अपनाया जाना

MLA को implement और optimize करना GQA से ज़्यादा पेचीदा है, और serving engines को इसके लिए अलग से support जोड़ना पड़ा। जैसे-जैसे DeepSeek के models लोकप्रिय हुए, vLLM, SGLang और दूसरे बड़े engines ने यह support जोड़ दिया। Research ने यह भी दिखाया है कि मौजूदा GQA models को training के बाद MLA जैसे attention में बदला जा सकता है। MLA बड़े पैमाने पर GQA की जगह लेगा या नहीं, यह अभी खुला सवाल है, लेकिन इसने दिखा दिया कि KV cache को उससे कहीं ज़्यादा compress किया जा सकता है जितना ज़्यादातर लोग मानते थे।

← सभी शब्द
ESC