एक शोधकर्ता ने दिखाया है कि बिना किसी प्रशिक्षण के सरल प्रोग्राम्स को सीधे transformer के भार में कैसे कॉम्पाइल करना है, इस आर्किटेक्चर को एक निर्धारणात्मक निष्पादन इंजन में बदल देता है। यह दृष्टिकोण अवशिष्ट स्ट्रीम को कार्यशील मेमोरी के रूप में और प्रत्येक परत को मशीन चरण के रूप में मानता है, जिसमें attention heads लुकअप करते हैं और feed-forward नेटवर्क स्थानीय गणनाएँ निष्पादित करते हैं। एक उदाहरण में, हार्डकोडेड transformer एक लुकअप ऑपरेशन (y=lookup[x]=5) के बाद जोड़ (z=y+1=6) निष्पादित करता है, मध्यवर्ती परिणामों को एक छोटे कंप्यूटर में रजिस्टर्स की तरह संग्रहीत करता है।
यह मानक प्रतिमान से एक मौलिक बदलाव का प्रतिनिधित्व करता है जहाँ transformers डेटा पर अनुकूलन के माध्यम से उपयोगी सर्किट सीखते हैं। प्रशिक्षण के दौरान सही पैटर्न के उभरने की आशा के बजाय, यह विधि ज्ञात कम्प्यूटेशन ग्राफ़ को निष्पादित करने के लिए आवश्यक सटीक भार का विश्लेषणात्मक निर्माण करती है। यह कार्य प्रभुत्वशाली "LLM प्लस बाहरी उपकरण" आर्किटेक्चर का एक दिलचस्प विकल्प प्रदान करता है, संभावित रूप से निर्धारणात्मक गणना को सीधे मॉडल्स के अंदर एम्बेड करके, उन्हें अपने निष्पादन लूप से बाहर निकलने की आवश्यकता के बिना।
व्यापक संदर्भ transformer की सीमाओं के साथ बढ़ते असंतोष को दर्शाता है। Stanford अनुसंधान दो वर्षों में गैर-transformer आर्किटेक्चर निवेश में 400% वृद्धि दिखाता है, 60% अग्रणी AI लैब अब पोस्ट-transformer दृष्टिकोणों के लिए टीमों को समर्पित कर रहे हैं। इस बीच, Will Whitney जैसे अन्य शोधकर्ता मौलिक रूप से भिन्न इंटरैक्शन प्रतिमानों की खोज कर रहे हैं, प्रस्तावित करते हैं कि AI को बातचीत एजेंट्स के बजाय ग्राफिकल इंटरफेस के साथ कंप्यूटर एप्लिकेशन्स की तरह काम करना चाहिए। यह हार्डकोडेड दृष्टिकोण Percepta के हाल के काम से अलग है, जो भार में एक सामान्य दुभाषिया संकलित करता है जबकि prompts के माध्यम से विशिष्ट प्रोग्राम्स प्रदान करता है।
डेवलपर्स के लिए, यह तकनीक अत्यधिक विशेषज्ञता वाली रहती है—उन मामलों के लिए उपयोगी जहाँ आपके पास एक ज्ञात एल्गोरिदम है और आप सीखे गए अनुमान के बजाय गारंटीशुदा निष्पादन चाहते हैं। लेकिन यह हाइब्रिड आर्किटेक्चर की ओर इशारा करता है जहाँ मॉडल्स लचीली तर्कणा और सटीक गणना मोड के बीच स्विच कर सकते हैं, संभावित रूप से गणितीय संचालन के लिए बाहरी API कॉल्स पर निर्भरता कम कर सकते हैं।