Northwestern, Tilde Research और University of Washington के शोधकर्ताओं ने Parallax (arxiv 2605.29157, कोड github.com/Yifei-Zuo/Parallax पर) प्रकाशित किया, एक अटेंशन मैकेनिज्म जो आर्किटेक्चरली अधिकांश लीनियर-अटेंशन काम के विपरीत करता है। सब-क्वाड्रैटिक कॉम्प्लेक्सिटी पाने के लिए softmax को रिप्लेस करने के बजाय, Parallax softmax को बिल्कुल रखता है और ऊपर एक learned covariance correction ब्रांच जोड़ता है। मोटिवेशन क्वालिटी है, स्पीड नहीं: अंतर्निहित थ्योरी (Local Linear Attention, test-time regression फ्रेमवर्क में नॉन-पैरामेट्रिक स्टैटिस्टिक्स से व्युत्पन्न) softmax के "लोकल कॉन्स्टेंट एस्टिमेट" को "लोकल लीनियर एस्टिमेट" में अपग्रेड करती है, एसोसिएटिव मेमोरी के लिए सिद्ध रूप से बेहतर बायस-वैरियंस ट्रेडऑफ्स के साथ। 1.7B स्केल पर Muon ऑप्टिमाइज़र के साथ, Parallax डाउनस्ट्रीम एक्यूरेसी पर Transformer बेसलाइन को 1.02 पॉइंट्स से हराता है (62.45 vs 61.43), और MAD-Benchmark पर 0.716 औसत एक्यूरेसी के साथ Mamba, Gated DeltaNet, MesaNet और Kimi DeltaAttention को पीछे छोड़ता है।
मैकेनिज्म एडिटिव है। आउटपुट बराबर है softmax अटेंशन माइनस एक प्रोजेक्टेड कोवेरिएंस टर्म: KV कोवेरिएंस को एक learned probe ρᵢ = WR·xᵢ से गुणा किया जाता है, जहां WR एक लर्नेबल प्रोजेक्शन मैट्रिक्स है जो लेयर इनपुट से सीधे KV कोवेरिएंस को probe करता है। महत्वपूर्ण डिज़ाइन प्रॉपर्टी: WR = 0 सेट करना standard softmax को बिल्कुल रिकवर करता है। इसका मतलब है कि आप WR जोड़कर और फाइन-ट्यून करके एक प्री-ट्रेन्ड Transformer चेकपॉइंट को कन्वर्ट कर सकते हैं, बिना शून्य से शुरू किए। कंप्यूट स्टोरी: Parallax दोनों ब्रांचेज़ के लिए एक ही KV स्ट्रीम का पुन: उपयोग करके अरिथमेटिक इंटेंसिटी को दोगुना करता है, और एक NVIDIA H200 डिकोड कर्नेल पर FlashAttention 2 और 3 को मैच या आउटपरफॉर्म करता है (compute-matched सेटिंग में 1.54x स्पीडअप, I/O-matched में 1.14x, batches 1 से 2048 और कॉन्टेक्स्ट 128 से 32768 तक)। महत्वपूर्ण चेतावनी: गेन्स ऑप्टिमाइज़र पर निर्भर करते हैं। Muon के तहत, आर्किटेक्चर का substantial फायदा है। AdamW के तहत, फायदा markedly सिकुड़ता है या गायब हो जाता है, एक असामान्य आर्किटेक्चर-ऑप्टिमाइज़र कोडिज़ाइन निर्भरता जो सीमित करती है कि आप यह ड्रॉप-इन कहां लागू कर सकते हैं। महत्वपूर्ण: यह लीनियर-कॉम्प्लेक्सिटी अटेंशन नहीं है। डिकोडिंग के लिए KV कैश अभी भी आवश्यक है; स्ट्रक्चर softmax-attention-shaped है, Mamba-shaped नहीं।
दो थ्रेड्स रुकने लायक हैं। पहला, नैरेटिव इन्वर्शन अपने आप में दिलचस्प है। वर्षों से लीनियर-अटेंशन की प्रमुख कहानी रही है "क्वाड्रैटिक कॉम्प्लेक्सिटी से बचने के लिए softmax को रिप्लेस करें," और Performer, Linformer, Hyena, Mamba, साथ ही MiniMax M3 का MSA सब उसी फ्रेम में रहते हैं। Parallax कहता है: softmax एक अधिक सामान्य चीज़ का लोकल कॉन्स्टेंट एस्टिमेट था, और अधिक सामान्य चीज़ है लोकल लीनियर एस्टिमेट, जो थ्योरेटिकली बेहतर है। फिक्स softmax को रिप्लेस करना नहीं है, इसे एक्सटेंड करना है। यह रीफ्रेमिंग अटेंशन डिज़ाइन के बारे में सोचने वाले builders के लिए मायने रखती है: एम्पिरिकल लैंडस्केप के नीचे एक थ्योरी की लेयर है जो सुझाव देती है कि softmax एक छत नहीं, एक शुरुआती बिंदु है। दूसरा, ऑप्टिमाइज़र-आर्किटेक्चर कोडिज़ाइन फाइंडिंग ईमानदार और दुर्लभ है। ज़्यादातर पेपर्स "हमारे गेन्स AdamW के तहत वाष्पीकृत हो जाते हैं" नहीं प्रकाशित करते। Tilde Research और सहयोगियों का इसे फ्लैग करना मतलब है कि भविष्य के LLA-फैमिली काम को ट्रैक करना होगा कि यह किस ऑप्टिमाइज़र रिजीम में रहता है, और Muon ने अभी एक ठोस कारण प्राप्त किया है कि इसे enable करने वाले आर्किटेक्चरल इनोवेशन्स के साथ अध्ययन किया जाए।
सोमवार सुबह, अगर आप 1 से 2B स्केल पर शून्य से लैंग्वेज मॉडल ट्रेन कर रहे हैं और Muon उपलब्ध है: Parallax को vanilla softmax के खिलाफ drop-in baseline के रूप में ट्रीट करने लायक है, github.com/Yifei-Zuo/Parallax पर ओपन कोड और प्री-ट्रेन्ड चेकपॉइंट कन्वर्शन के लिए WR=0 बैकवर्ड-कॉम्पैट को देखते हुए। H200 डिकोड कर्नेल FlashAttention 2 और 3 को मैच करता है, इसलिए इन्फरेंस-साइड कॉस्ट बैरियर नहीं है। अगर आप कॉम्पैट कारणों से AdamW पर अटके हैं, गेन्स मटीरियलाइज़ नहीं हो सकते; कमिट करने से पहले अपने ट्रेनिंग रन पर वेरिफाई करें। अगर आप प्रिमिटिव्स से बनाते हैं और अटेंशन डिज़ाइन की फर्स्ट प्रिंसिपल के रूप में care करते हैं, LLA थ्योरी (test-time regression, लोकल लीनियर एस्टिमेट) पढ़ने का पेपर है; Parallax इम्प्लीमेंटेशन एक पैरामेट्राइज़ेशन है, एकमात्र संभव नहीं। और अगर आप फ्रंटियर-स्केल काम करते हैं, 1.7B नंबर्स प्रोत्साहनकारी हैं लेकिन आर्किटेक्चर-ऑप्टिमाइज़र कोडिज़ाइन को आपके इन्फ्रा पर बेट लगाने से पहले आपके स्केल पर वेरिफिकेशन की आवश्यकता है।