State space models अपना गणितीय ढाँचा control theory से उधार लेते हैं, जहाँ SSMs का उपयोग दशकों से dynamical सिस्टमों को मॉडल करने के लिए किया गया है। मूल विचार एक linear recurrence है: मॉडल एक hidden state बनाए रखता है जो हर timestep पर एक सीखे गए linear transformation द्वारा update होता है, फिर current input के साथ मिश्रित होता है। निरंतर समय में, यह एक differential equation है (dx/dt = Ax + Bu, y = Cx + Du)। इसे discretize करने से आपको एक recurrence मिलती है जो token by token अनुक्रमों को प्रोसेस कर सकती है, हर step पर एक fixed-size state को update करती है। सुंदर हिस्सा यह है कि प्रशिक्षण के दौरान, इस recurrence को एक convolution में unrolled किया जा सकता है, जो इसे attention की तरह GPUs पर parallelizable बनाता है। Inference के दौरान, आप recurrence form पर वापस switch करते हैं और स्थिर मेमोरी के साथ एक समय में एक token प्रोसेस करते हैं — कोई बढ़ता KV cache नहीं।
Mamba (Albert Gu और Tri Dao, 2023) वह सफलता थी जिसने SSMs को भाषा पर Transformers के साथ प्रतिस्पर्धी बनाया। S4 और H3 जैसे पहले के SSMs ने fixed state transition matrices का उपयोग किया, जो content-आधारित reasoning करने की उनकी क्षमता को सीमित करता था — मॉडल इस आधार पर नहीं बदल सकता था कि वह एक token को कैसे प्रोसेस करे यह उस token के क्या होने पर। Mamba ने selective state spaces पेश किए, जहाँ A, B, और C matrices input के functions हैं। यह मॉडल को हर token पर तय करने देता है कि कितना याद रखना है और कितना भूलना है। इसे एक सीखे गए, differentiable gating mechanism के रूप में सोचें, लेकिन attention के बजाय linear recurrence के lens के माध्यम से operate करते हुए। Mamba-2 ने बाद में इसे structured state space duality (SSD) के रूप में पुनर्परिभाषित किया, यह प्रकट करते हुए कि selective SSMs और linear attention गणितीय रूप से संबंधित हैं, और matrix-multiply-आधारित algorithms के माध्यम से और भी तेज़ GPU कार्यान्वयन सक्षम करते हुए।
व्यावहारिक लाभ वास्तविक और मापने योग्य हैं। Inference के दौरान, एक Transformer को context में हर token के लिए key-value pairs संग्रहीत करने चाहिए — वह KV cache sequence लंबाई के साथ रैखिक रूप से बढ़ता है और लंबे-context serving के लिए प्राथमिक bottleneck है। एक SSM कितने भी tokens देखे हों, एक fixed-size state बनाए रखता है। 128K context window वाले मॉडल के लिए, यह अंतर बहुत बड़ा है: SSM token 128,001 generate करते समय उतनी ही मेमोरी का उपयोग करता है जितना उसने token 1 generate करते समय किया था। प्रशिक्षण throughput को भी लंबे sequences पर लाभ होता है क्योंकि parallel scan या convolution mode sequence लंबाई के साथ रैखिक रूप से scale होता है, बनाम पूर्ण attention की द्विघात scaling। ये दक्षता लाभ ही कारण हैं कि SSMs उन applications के लिए विशेष रूप से आकर्षक हैं जिन्हें long-range context की आवश्यकता होती है: दस्तावेज़ विश्लेषण, बड़े repositories में कोड generation, और real-time streaming जहाँ tokens लगातार आते हैं।
उस ने कहा, SSMs की वास्तविक सीमाएँ हैं जिन पर hype आम तौर पर पर्दा डाल देता है। शुद्ध SSMs उन कार्यों के साथ संघर्ष कर सकते हैं जिन्हें context में पहले से सटीक retrieval की आवश्यकता होती है — "haystack में सुई" समस्या। एक Transformer सिद्धांत रूप में, अपने attention weights के माध्यम से किसी भी पिछले token पर सीधे attend कर सकता है। एक SSM ने प्रासंगिक जानकारी को अपने fixed-size state में compressed किया होगा, और यदि उसने पहली बार उस token को प्रोसेस करते समय सही चीज़ों को प्राथमिकता नहीं दी, तो जानकारी चली गई है। यही कारण है कि hybrid architectures — SSM layers को कुछ attention layers के साथ interleave करना — कर्षण प्राप्त कर रहे हैं। Jamba (AI21 से) और विभिन्न शोध hybrids ने दिखाया है कि आप network में रणनीतिक बिंदुओं पर attention का sparingly उपयोग करके attention की retrieval परिशुद्धता के साथ SSMs की अधिकांश दक्षता प्राप्त कर सकते हैं।
Mamba-3, नवीनतम पीढ़ी, multi-input multi-output (MIMO) सूत्रीकरण और rotary position encodings के माध्यम से complex-valued states के साथ architecture को आगे बढ़ाता है। recurrence बेहतर संख्यात्मक स्थिरता के लिए एक trapezoidal integration नियम का उपयोग करता है, और architecture causal convolution layer को छोड़ देता है जिसे पहले के संस्करणों ने एक short-range mixing mechanism के रूप में उपयोग किया था। ये incremental tweaks नहीं हैं — वे computational profile को इतना बदलते हैं कि पूर्ण प्रदर्शन प्राप्त करने के लिए custom Triton kernels की आवश्यकता है, और मानक mamba-ssm PyPI package उन्हें अभी तक शामिल नहीं करता। यदि आप आज SSMs पर निर्माण कर रहे हैं, तो एक परिपक्व Transformer stack की तुलना में metal के क़रीब काम करने की अपेक्षा करें। Tooling पकड़ रहा है, लेकिन production SSM तैनाती के लिए यह अभी भी शुरुआती दिन हैं।