मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › Grokking
प्रशिक्षण

Grokking

इसे भी कहा जाता है: Delayed Generalization
Training की एक घटना जिसमें network पहले अपने training data को रट लेता है और फिर बहुत देर बाद अचानक सामान्य नियम सीख लेता है।

यह क्यों मायने रखता है

Grokking ने उस आम सलाह को चुनौती दी कि जब training performance परफ़ेक्ट हो और validation performance रुक जाए, तो training रोक देनी चाहिए। इन experiments में जल्दी रोक देने से असली हल छूट जाता।

इसने researchers को एक गहरे सवाल के लिए साफ़-सुथरी प्रयोगशाला भी दी: network कब रटता है, और कब वह पीछे का नियम सीखता है? यही सवाल इस बहस के केंद्र में है कि बड़े models सच में generalize करते हैं या नहीं, और grokking interpretability के सबसे ज़्यादा पढ़े गए उदाहरणों में से एक बन गया।

गहन अध्ययन

2022 में OpenAI के researchers ने एक अजीब बात बताई। उन्होंने छोटे transformers को modular addition जैसे सरल गणित के tasks पर train किया और network को जवाबों की पूरी table का सिर्फ़ एक हिस्सा दिखाया। Network ने देखे हुए examples पर जल्दी ही 100% accuracy पा ली, जबकि बाकी पर उसका प्रदर्शन तुक्के से बेहतर नहीं था: यह classic overfitting है। लेकिन जब training को बहुत ज़्यादा देर तक, कुछ मामलों में हज़ार गुना ज़्यादा देर तक, चलने दिया गया, तो अनदेखे examples पर accuracy अचानक उछलकर लगभग 100% हो गई।

Network ने रटना छोड़कर समझना शुरू कर दिया था। Authors ने इसे grokking कहा, जो Robert Heinlein के उपन्यास Stranger in a Strange Land का एक शब्द है और जिसका मतलब है किसी चीज़ को इतनी गहराई से समझना कि वह आपका हिस्सा बन जाए। इसका xAI के Grok model से कोई लेना-देना नहीं है, जिसने यही शब्द उधार लिया है।

भीतर क्या होता है

2023 में Neel Nanda और उनके साथियों ने एक ऐसे network को reverse-engineer किया जिसने modular addition को grok कर लिया था। उसने trigonometry पर आधारित एक algorithm खोज लिया था, जो संख्याओं को एक वृत्त के चारों ओर rotations के रूप में दिखाता है और उन्हें trig identities से जोड़ता है। इस काम में तीन चरण बताए गए:

  1. Memorization: network training examples को lookup table की तरह जमा कर लेता है।
  2. Circuit formation: सामान्य algorithm रटे हुए हल के साथ-साथ धीरे-धीरे बनता है, और test accuracy में कोई बदलाव नहीं दिखता।
  3. Cleanup: रटा हुआ हल हटा दिया जाता है, और test accuracy अचानक उछल जाती है।

यानी "अचानक" आई समझ भीतर से धीरे-धीरे बनती है। Curve सिर्फ़ इसलिए एकदम तीखा दिखता है क्योंकि जब तक general circuit कमान नहीं संभाल लेता, test metric कोई प्रगति दर्ज नहीं करता।

सामान्य हल क्यों जीतता है

सबसे प्रमुख व्याख्या regularization से जुड़ी है। रटने के लिए बड़े और पेचीदा weights चाहिए, जबकि सामान्य algorithm ज़्यादा compact होता है। Weight decay लगातार बड़े weights को penalize करता है, इसलिए समय के साथ वह efficient हल का पक्ष लेता है। Weight decay के बिना grokking अक्सर बहुत धीमा होता है या होता ही नहीं। ज़्यादा training data से यह जल्दी होता है, और काफ़ी data हो तो देरी गायब हो जाती है।

यह कहाँ तक लागू होता है

Grokking छोटे algorithmic datasets पर सबसे साफ़ दिखता है। खास परिस्थितियों में image और text tasks पर भी ऐसा ही delayed generalization पैदा किया गया है, लेकिन large language models साफ़ तौर पर ऐसा व्यवहार नहीं करते, क्योंकि वे एक ही example शायद ही दो बार देखते हैं और इसलिए पहले रट नहीं सकते। इससे जुड़े प्रभावों में double descent शामिल है, जिसमें models या training का समय बढ़ने के साथ test error पहले बढ़ता है और फिर दोबारा गिरता है।

Practitioners के लिए सबक

  • असली दुनिया के models को इस उम्मीद में हमेशा train करते मत रहिए कि वे grok कर लेंगे। छोटे datasets पर आम fine-tuning में training और validation loss के बीच बढ़ता अंतर अब भी सिर्फ़ overfitting ही है।
  • सपाट metric प्रगति को छिपा सकता है। Loss curves और accuracy के आँकड़े weights में हो रही हर चीज़ नहीं दिखाते।
  • Regularization सिर्फ़ overfitting नहीं रोकता; यह बदल सकता है कि network कौन-सा हल ढूँढता है।
← सभी शब्द
ESC