RoPE
यह क्यों मायने रखता है
RoPE लगभग हर modern open LLM की default positional scheme है, जिनमें Llama, Mistral, Qwen, Gemma और DeepSeek शामिल हैं। अगर आप किसी model का config पढ़ें और उसमें rope_theta या "rope scaling" दिखे, तो बात इसी की हो रही है।
यह इसलिए जीता क्योंकि यह relative position की जानकारी देता है, जो absolute positions से बेहतर generalize करती है, कोई learned parameters नहीं जोड़ता और compute करने में सस्ता है। बाद में यह भी पता चला कि इसे training के बाद adjust किया जा सकता है, और इसी वजह से यह model की context window बढ़ाने वाली ज़्यादातर तरकीबों का आधार बन गया।
गहन अध्ययन
Attention को अपने आप में क्रम की कोई समझ नहीं होती। एक सादे transformer के लिए "dog bites man" और "man bites dog" tokens का एक ही थैला हैं। Positional encoding position की जानकारी डालकर इसे ठीक करती है। मूल transformer हर token की embedding में एक position vector जोड़ता था। RoPE, जिसे Jianlin Su और उनके साथियों ने 2021 में प्रस्तावित किया, कुछ अलग करता है: हर attention layer के भीतर यह हर query और key vector को token की position के अनुपात वाले angle से घुमाता है।
Rotations जिस तरह आपस में जुड़ते हैं, उसकी वजह से दो tokens के बीच का attention score उनकी absolute positions पर नहीं, बल्कि उनके बीच की दूरी पर निर्भर करता है।
Rotation कैसे काम करता है
RoPE हर query और key vector को dimensions के जोड़ों में बाँटता है और हर जोड़े को 2D plane पर एक बिंदु मानता है। Position m वाले token के लिए हर जोड़े को m गुना एक तय frequency से घुमाया जाता है। अलग-अलग जोड़े अलग-अलग frequencies इस्तेमाल करते हैं, तेज़ घूमने वाली (पास के tokens के प्रति संवेदनशील) से लेकर बहुत धीमी (लंबी दूरी के प्रति संवेदनशील) तक, कुछ-कुछ घड़ी की सुइयों की तरह।
जब position m की query की तुलना position n की key से होती है, तो rotations आंशिक रूप से एक-दूसरे को काट देते हैं और जो नतीजा बचता है वह सिर्फ़ m − n पर निर्भर करता है। Embeddings में खुद कुछ नहीं जोड़ा जाता; position का signal पूरी तरह इस बात में रहता है कि queries और keys आपस में कैसे मेल खाते हैं।
Context बढ़ाना
4K tokens पर train हुए model ने वे rotation angles कभी नहीं देखे जो position 50,000 पर आते हैं। कई तरीके RoPE को इस तरह rescale करते हैं कि लंबी positions जानी-पहचानी लगें:
- Position interpolation: positions को सिकोड़ दीजिए ताकि लंबी sequence train की हुई range में आ जाए, फिर थोड़ी देर fine-tune कीजिए।
- NTK-aware scaling और YaRN: अलग-अलग frequencies को अलग-अलग मात्रा में adjust करते हैं, जिससे बारीक local detail बेहतर बची रहती है।
- बड़ा base: कई नए models सीधे बहुत बड़े
rope_theta(जैसे 10,000 की जगह 500,000) के साथ train होते हैं, ताकि लंबे contexts शुरू से ही support हों।
विकल्प
- Learned absolute positions: GPT-2 और BERT में इस्तेमाल हुईं। सरल, लेकिन train की हुई लंबाई तक सीमित।
- Sinusoidal: मूल transformer की scheme।
- ALiBi: vectors घुमाने की जगह attention scores में दूरी पर आधारित penalty जोड़ता है।
- Relative position bias: T5 में इस्तेमाल होता है।
व्यावहारिक बातें
RoPE का caching से भी लेना-देना है: चूँकि position keys पर लगाई जाती है, इसलिए keys को compress या दोबारा इस्तेमाल करने वाली techniques, जैसे MLA, को खास handling चाहिए। और जब किसी model की quality एक खास context length के बाद अचानक गिर जाए, तो RoPE scaling की बेमेल settings एक आम कारण हैं, जिन्हें सबसे पहले जाँचना चाहिए।