Needle in a Haystack
यह क्यों मायने रखता है
इस test ने सबको long-context reliability की एक सहज तस्वीर दी, और इसके heat maps खूब फैले। पहले नतीजों ने दिखाया कि documents लंबे होने के साथ models का प्रदर्शन गिरता है और वे बीच में रखी needles अक्सर चूक जाते हैं, जो "lost in the middle" effect पर हुई research से मेल खाता था। Model बनाने वालों ने तेज़ी से जवाब दिया, और एक perfect needle chart launch presentations की standard slide बन गया।
आज basic test ज़्यादातर हल हो चुका है: अग्रणी models लाखों tokens के पार भी एक अकेली needle को लगभग पूरी तरह ढूँढ लेते हैं। इसलिए यह जानना ज़रूरी है कि यह test क्या साबित करता है और क्या नहीं।
गहन अध्ययन
जब 2023 में 100,000 tokens की context window वाले models आए, तो एक सीधा सवाल उठा: क्या वे सच में इतने सारे text का इस्तेमाल कर सकते हैं? Needle-in-a-haystack test, जिसे developer Greg Kamradt ने उसी साल नवंबर में लोकप्रिय बनाया, इसे जाँचने का एक आसान तरीका लेकर आया। असंबंधित text का एक लंबा हिस्सा लीजिए (haystack यानी भूसे का ढेर; उन्होंने Paul Graham के निबंध इस्तेमाल किए)। उसमें एक बेमेल वाक्य डालिए (needle यानी सुई), जैसे San Francisco में करने लायक सबसे अच्छी चीज़ के बारे में कोई बयान। फिर model से ऐसा सवाल पूछिए जिसका जवाब सिर्फ़ needle देती है।
इसे document की अलग-अलग लंबाइयों और needle की अलग-अलग जगहों के लिए दोहराइए, बिल्कुल शुरुआत से बिल्कुल आखिर तक, और नतीजों को heat map के रूप में plot कीजिए। हरे का मतलब है मिल गई, लाल का मतलब है छूट गई।
इसे Pass करना कम ही क्यों साबित करता है
Classic needle एक खास तरह से आसान है: वह अपने आसपास के text जैसी बिल्कुल नहीं दिखती, और सवाल के शब्द उससे मिलते हैं। उसे ढूँढना समझने से ज़्यादा keyword search जैसा है। असली long-context काम ज़्यादा कठिन है: काम का हिस्सा अपने आसपास की हर चीज़ जैसा दिखता है, सवाल text से अलग शब्दों में पूछा जाता है, कई तथ्यों को जोड़ना पड़ता है, या जवाब पूरे document पर निर्भर करता है।
ज़्यादा कठिन Versions
- Multi-needle: कई तथ्य छिपाए जाते हैं, और model को उन सबको ढूँढना होता है या उन सबको मिलाकर reasoning करनी होती है।
- कोई lexical overlap नहीं: NoLiMa जैसे benchmarks सवाल को ऐसे लिखते हैं कि उसका needle के साथ कोई keyword साझा न हो, जिससे model को दोनों को जोड़ने के लिए inference करना पड़ता है। Classic test में पूरे अंक लाने वाले कई models के scores तेज़ी से गिर जाते हैं, कुछ दसियों हज़ार tokens पर भी।
- Distractors: needle से मिलते-जुलते वाक्य, जो गलत जवाब देते हैं।
- लंबे inputs पर reasoning: RULER और BABILong जैसे suites variables को trace करना, गिनना और पूरे context में aggregate करना जोड़ते हैं।
ये versions input की लंबाई के साथ quality में आने वाली उस धीमी गिरावट को सामने लाते हैं जिसे practitioners context rot कहते हैं।
शुरुआती Runs से सबक
नतीजे prompting के प्रति संवेदनशील थे। एक model के खराब score के बाद उसे बनाने वाली कंपनी ने दिखाया कि model को सबसे relevant हिस्से की ओर मोड़ने वाला सिर्फ़ एक वाक्य जोड़ने से, original evaluation पर accuracy करीब 27% से 98% हो गई। सबक: long-context performance इस पर निर्भर करती है कि आप कैसे पूछते हैं, सिर्फ़ model पर नहीं।
अपना Test चलाना
इस विचार को ढालना आसान है, और यही इसकी टिकाऊ कीमत है। अपना haystack अपने documents से बनाइए, और needle को असली जैसा रखिए: किसी contract का एक clause, किसी log की एक line, किसी codebase का एक function। वैसे सवाल पूछिए जैसे आपके users पूछते हैं। उन context lengths पर test कीजिए जिन्हें आप सच में इस्तेमाल करने वाले हैं। यह आपको अपने application के बारे में किसी भी प्रकाशित chart से ज़्यादा बताता है, और यह तय करने में मदद करता है कि कब पूरे documents देने हैं और कब retrieval इस्तेमाल करना है।