pass@k
यह क्यों मायने रखता है
Model announcements में दिखने वाले ज़्यादातर coding आँकड़ों के पीछे pass@k ही है, और यह विचार गणित और reasoning benchmarks तक फैल चुका है। इसे पढ़ना आना एक आम गलती से बचाता है: एक model के pass@1 की तुलना दूसरे के pass@10 से करना। दूसरी संख्या हमेशा बेहतर दिखेगी, और उसका मतलब कुछ और होता है।
pass@1 और pass@k के बीच का अंतर भी काफ़ी कुछ बताता है। जिस model का pass@1 40% और pass@100 90% हो, वह अक्सर problem हल करना "जानता" है, लेकिन भरोसे के साथ ऐसा नहीं कर पाता। कई candidates sample करना, self-checking और agent loops जैसी तकनीकें ठीक इसी अंतर को पाटने की कोशिश करती हैं।
गहन अध्ययन
Generate किए गए code को किसी reference जवाब से शब्द-दर-शब्द मिलाकर grade नहीं किया जा सकता, क्योंकि एक ही function को लिखने के अनगिनत सही तरीके होते हैं। मायने यह रखता है कि code काम करता है या नहीं। इसलिए code benchmarks model के output को unit tests पर चलाते हैं और pass@k बताते हैं: model को एक problem के k अलग-अलग हल generate करने दीजिए, और अगर उनमें से कोई एक भी हर test pass कर ले तो problem को हल हुआ गिनिए।
pass@1 सख्त version है: एक कोशिश, सही या गलत। pass@10 और pass@100 दिखाते हैं कि कई मौके मिलने पर model क्या कर सकता है। इस metric को OpenAI के 2021 के Codex paper ने लोकप्रिय बनाया, जिसने 164 Python problems वाला HumanEval benchmark पेश किया।
इसे कैसे निकाला जाता है
सीधा-सादा तरीका है ठीक k samples लेना और उन्हें जाँचना, लेकिन नतीजा noisy होता है। Standard तरीका हर problem के लिए ज़्यादा बड़ी संख्या n में samples लेता है (मान लीजिए 200), गिनता है कि कितने सही हैं (c), और यह probability निकालता है कि उन n में से random चुने गए k के set में कम से कम एक सही हो:
pass@k = 1 − C(n − c, k) / C(n, k)
और फिर सभी problems पर इसका औसत लिया जाता है। Sampling की settings मायने रखती हैं। pass@1 के लिए कम temperature सबसे अच्छा है, क्योंकि आपको model का सबसे संभावित जवाब चाहिए। बड़े k के लिए ज़्यादा temperature मदद करता है, क्योंकि आपको अलग-अलग तरह की कोशिशें चाहिए।
पेच: किसी को चुनना पड़ता है
pass@k मानकर चलता है कि एक oracle है जो जानता है कि k कोशिशों में से कौन-सी सही है। Benchmark में छिपे हुए tests यह भूमिका निभाते हैं। असल ज़िंदगी में आपको k candidate हल मिलते हैं और कोई answer key नहीं, जब तक आपके पास अपने tests न हों। इसीलिए "एक बार पूछने पर क्या यह काम करेगा" के लिए pass@1 ईमानदार संख्या है, और इसीलिए व्यवहार में tests इतने कीमती हैं: जो agent tests चला सकता है और दोबारा कोशिश कर सकता है, वह असल में pass@k की क्षमता को pass@1 के नतीजे में बदल देता है।
मिलते-जुलते Metrics
- Resolved rate: SWE-bench जैसे benchmarks एक agent run में हल हुए tasks का हिस्सा बताते हैं, जो असल में पूरे agent के लिए pass@1 ही है।
- pass^k ("pass hat k"): इस बात की संभावना कि सभी k कोशिशें सफल हों। यह consistency नापता है, और उन agents के लिए मायने रखता है जिन्हें एक ही काम हर बार सही करना होता है, जैसे customer service bots। किसी model का pass@1 ऊँचा और pass^8 खराब हो सकता है।
- Majority voting / self-consistency: एक ही जवाब वाले tasks के लिए k samples में सबसे ज़्यादा बार आया जवाब लीजिए। Oracle की ज़रूरत नहीं।
सावधानियाँ
- कमज़ोर tests scores को फुला देते हैं। जब researchers ने HumanEval में कहीं ज़्यादा tests जोड़े, तो scores साफ़ तौर पर गिर गए, क्योंकि कुछ "pass" हुए हल गलत थे।
- पुराने benchmarks saturated और contaminated हैं। HumanEval और MBPP के problems छोटे और public हैं, और modern models इन्हें 90% से कहीं ऊपर हल कर लेते हैं।
- सिर्फ़ छोटे tasks। किसी self-contained function का test pass करना बड़े codebase में काम करने के बारे में कम ही बताता है।