मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › Context Rot
AI उपयोग

Context Rot

इसे भी कहा जाता है: Long-Context Degradation
Context window भरने के साथ model की accuracy और reliability में आने वाली गिरावट, जो आधिकारिक सीमा से काफ़ी पहले शुरू हो जाती है।

यह क्यों मायने रखता है

Context rot ही context engineering के होने की मुख्य वजह है। हर समस्या को prompt में और ठूँसकर हल करने का मन करता है: सारे documents, पूरा codebase, पूरी chat history। लेकिन ज़्यादा context नतीजों को बेहतर नहीं, बदतर बना सकता है, और वह उन्हें हमेशा धीमा और महंगा बनाता है।

यह agents के लिए खास तौर पर अहम है। लंबे समय तक चलने वाला agent tool outputs, files की सामग्री और अपनी पिछली reasoning जमा करता जाता है। कुछ दर्जन steps के बाद context में ज़्यादातर noise हो सकता है, और agent instructions भूलने लगता है, काम दोहराने लगता है या अपना लक्ष्य खो देता है। Agents बनाने की कला का बड़ा हिस्सा उस context को साफ़ रखना है।

गहन अध्ययन

कोई model दस लाख tokens के context window का दावा कर सकता है, लेकिन इसका मतलब यह नहीं कि वह हर token को बराबर अच्छी तरह इस्तेमाल करता है। Input बढ़ने के साथ models details चूकने लगते हैं, facts को आपस में मिला देते हैं, शुरुआती instructions का कम पालन करते हैं और ज़्यादा गलतियाँ करते हैं। "Context rot" शब्द 2025 में फैला, खासकर vector database कंपनी Chroma की एक report के बाद, जिसने 18 अग्रणी models को परखा और पाया कि input की लंबाई बढ़ने पर प्रदर्शन गिरता है, सरल कामों पर भी।

यह कोई अचानक आने वाली खाई नहीं है। यह धीरे-धीरे होने वाला क्षय है, और यह ज़्यादातर लोगों की सोच से पहले शुरू हो जाता है।

ऐसा क्यों होता है

  • Attention पतला फैल जाता है: हर token model के attention के लिए होड़ करता है। Tokens जितने ज़्यादा होंगे, काम के tokens का उभरना उतना कठिन होगा, खासकर तब जब ध्यान भटकाने वाली चीज़ें जवाब जैसी दिखती हों।
  • Training से बेमेल: training में models बहुत लंबे examples छोटे examples के मुकाबले कहीं कम देखते हैं, इसलिए लंबे context की उनकी क्षमता कम मँजी होती है।
  • Position का असर: "lost in the middle" effect पर हुई research ने दिखाया कि models अक्सर context की शुरुआत और अंत की जानकारी को बीच की जानकारी से बेहतर याद रखते हैं।

Benchmarks इसे क्यों छिपा लेते हैं

Classic needle-in-a-haystack test किसी लंबे document में एक अटपटा वाक्य छिपाकर model से उसे ढूँढने को कहता है। कई models इसमें लगभग पूरे अंक ले आते हैं, जिससे लगा कि लंबा context हल हो चुका है। लेकिन असली काम कठिन होते हैं: "needle" आसपास के text जैसी दिखती है, model को कई facts जोड़ने पड़ते हैं या पूरे input पर reasoning करनी पड़ती है। इस तरह बने tests कहीं तेज़ गिरावट दिखाते हैं।

इससे कैसे लड़ें

  • Retrieve कीजिए, उड़ेलिए मत: सब कुछ डालने के बजाय RAG या search tools से सिर्फ़ काम के हिस्से लाइए।
  • Compact और summarize कीजिए: agents से समय-समय पर अपनी progress का सार लिखवाइए और वह raw tool output हटवाइए जिसकी अब ज़रूरत नहीं।
  • अहम instructions वहाँ रखिए जहाँ वे दिखें: ज़रूरी नियम शुरुआत के पास (system prompt में) और खास सवाल अंत के पास।
  • Sub-agents इस्तेमाल कीजिए: कोई sub-task साफ़ context वाले नए agent को दीजिए और सिर्फ़ उसका नतीजा वापस लाइए।
  • Tool outputs छोटे रखिए: काम की 20 lines लौटाइए, 5,000 lines का log नहीं।
  • External memory इस्तेमाल कीजिए: सब कुछ context में रखने के बजाय notes को files में लिखिए और ज़रूरत पड़ने पर दोबारा पढ़िए।

एक मोटा नियम

Context window को working memory मानिए, storage नहीं। विज्ञापित maximum वह है जो आप ज़्यादा से ज़्यादा डाल सकते हैं, वह मात्रा नहीं जो सबसे अच्छा काम करती है। जहाँ accuracy अहम हो, वहाँ अपने model को उन्हीं context sizes पर परखिए जो आप असल में इस्तेमाल करेंगे।

← सभी शब्द
ESC