दक्षिण कोरियाई स्टार्टअप Xcena MX1 बना रहा है, एक near-memory compute चिप जो CXL (Compute Express Link) के माध्यम से DRAM से जुड़ती है और हज़ारों छोटे RISC-V cores को मेमोरी के बगल में रखती है बजाय डेटा को CPU या GPU में shuttle करने के। वास्तुशिल्प थीसिस वह हिस्सा है जो फंडिंग हेडलाइन की परवाह किए बिना पढ़ने लायक है: इन्फरेंस कार्य के एक बड़े हिस्से के लिए AI की बाध्यकारी बाधा मेमोरी bandwidth है, compute नहीं, और सही प्रतिक्रिया compute को डेटा तक लाना है। MX1 विशेष रूप से KV-cache प्रबंधन (पूर्व वार्तालाप संदर्भ का store), preprocessing, और data caching को लक्षित करता है — memory-bound संचालन जो वर्तमान में CPU पर चलते हैं और pipeline को रोकते हैं। आगे ईमानदार स्थिति: MX1 एक प्रोटोटाइप है, कोई सिलिकॉन शिप नहीं हुआ, writeup शून्य bandwidth या benchmark संख्या देता है, बड़े पैमाने पर उत्पादन 2026 के अंत के लिए और राजस्व 2027 के लिए लक्षित है। यह एक वास्तुशिल्प दिशा संकेत है, एक उत्पाद नहीं जिसका आप मूल्यांकन कर सकें।
तकनीकी आकार, जैसा प्रकट किया गया: हज़ारों RISC-V cores जानबूझकर छोटे और कुशल रखे गए, एक कस्टम आंतरिक मेमोरी पदानुक्रम, एक कस्टम interconnect bus, और एक कस्टम DRAM controller — off-the-shelf भागों को इकट्ठा करने के बजाय vertical integration। दावा है infrastructure consolidation, "जिसके लिए 10 सर्वर की आवश्यकता थी वह संभावित रूप से केवल एक पर चल सकता है", जो उस प्रकार की संख्या है जो workload परिभाषा के बिना कुछ मायने नहीं रखती और इसे एक लक्ष्य के रूप में पढ़ा जाना चाहिए, परिणाम नहीं। CXL विकल्प load-bearing वास्तुशिल्प दांव है: CXL near-memory accelerator को एक coherent डिवाइस के रूप में मेमोरी bus पर बैठने देता है, तो KV-cache उन cores के बगल में रह सकता है जो इसे प्रबंधित करते हैं बजाय PCIe के माध्यम से GPU में कॉपी होने के। क्या CXL latency और इकोसिस्टम परिपक्वता इसे inference-serving पैमाने पर व्यावहारिक बनाती है, यह ठीक वह खुला प्रश्न है जिसका प्रोटोटाइप ने उत्तर नहीं दिया।
इकोसिस्टम रीडिंग पूरे सप्ताह बन रहे inference-economics सूत्र से जुड़ती है: KV-cache long-context और agentic serving में मेमोरी हॉग है, और उस workload को जीतने वाले इंजन (speculative-decoding गेन, prefix-cache hit दरें) सभी सॉफ्टवेयर पक्ष से उसी मेमोरी दीवार से लड़ रहे हैं। Xcena का दांव hardware-पक्ष संस्करण है — inference stack को disaggregate करें ताकि memory-bound भाग (KV-cache, preprocessing) सस्ते near-memory सिलिकॉन पर चलें जबकि GPU compute-bound matmul के लिए आरक्षित हो। यदि near-memory KV-cache offload एक वास्तविक श्रेणी बन जाता है, यह long-context inference की लागत संरचना को एक और GPU पीढ़ी से अधिक बदलता है। जोखिम तिहरा है: CXL latency गेन खा सकती है, near-memory accelerators को लक्षित करने के लिए सॉफ्टवेयर इकोसिस्टम मुश्किल से मौजूद है, और NVIDIA एक स्टार्टअप के शिप करने से पहले फ़ंक्शन को अपने स्वयं के मेमोरी पदानुक्रम में अवशोषित कर सकता है।
यदि आप सोमवार सुबह inference इन्फ्रास्ट्रक्चर का वास्तुशिल्प करते हैं: यहाँ दो साल तक तैनात करने के लिए कुछ नहीं है, लेकिन memory-bound-vs-compute-bound split अब अपनाने का framing है — profile करें कि आपकी inference लागत का कौन सा अंश KV-cache और preprocessing है बनाम वास्तविक matmul, क्योंकि वह अनुपात निर्धारित करता है कि near-memory compute कभी आपकी मदद करेगा या नहीं। यदि आप AI हार्डवेयर में निवेश करते हैं या बनाते हैं: ट्रैक करने का संकेत यह है कि क्या कोई वास्तविक benchmarks के साथ near-memory KV-cache offload शिप करता है, क्योंकि थीसिस सुदृढ़ है और निष्पादन अप्रमाणित है। इसे दिशा से अधिक मानने से पहले शिप किए गए सिलिकॉन और HBM-on-GPU के against head-to-head की प्रतीक्षा करें।