मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › Humanity's Last Exam
प्रशिक्षण

Humanity's Last Exam

इसे भी कहा जाता है: HLE
इंसानी ज्ञान की सीमा पर experts के लिखे 2,500 सवालों का benchmark, जिसे 2025 में खास तौर पर इसलिए बनाया गया कि उस समय के सबसे अच्छे AI models इसमें fail हों।

यह क्यों मायने रखता है

HLE ने scoreboard को reset कर दिया। Launch के समय शीर्ष models का score एक अंक में था: GPT-4o करीब 3%, और 2025 की शुरुआत के सबसे अच्छे reasoning models 15% से नीचे। इससे field को प्रगति नापने की गुंजाइश फिर मिल गई।

प्रगति तेज़ी से आई। कुछ ही महीनों में search tools वाले reasoning models और deep research agents 20% के पार चले गए, और 2025 के आखिर तक सबसे अच्छे systems 40% के पार निकल गए: Gemini 3 Deep Think ने बिना tools के 41% score किया, और tools वाले systems ने text-only subset पर इससे ज़्यादा। यह benchmark frontier model announcements की एक नियमित पंक्ति बन गया, और अब इसके successors भी हैं, HLE-Rolling और HLE-Diamond। इसकी चाल इस बात के सबसे साफ़ संकेतों में से एक है कि expert स्तर के सवालों के जवाब देने की क्षमता कितनी तेज़ी से सुधर रही है।

गहन अध्ययन

2024 तक AI models आम knowledge benchmarks पर करीब 90% score कर रहे थे, जिससे वे tests सबसे अच्छे models में फ़र्क करने के लिए बेकार हो गए। Humanity's Last Exam इसी का जवाब था। Center for AI Safety और Scale AI ने इसे आयोजित किया और 2025 की शुरुआत में जारी किया, और इसमें दुनिया भर के सैकड़ों संस्थानों के करीब एक हज़ार विषय experts से सवाल जुटाए गए, जिनमें ज़्यादातर professors और researchers थे।

मुख्य नियम: कोई सवाल तभी स्वीकार होता था जब अग्रणी AI models उसका गलत जवाब दें। सबसे अच्छे submissions के लिए contributors 5 लाख डॉलर के prize pool के लिए मुकाबला कर रहे थे।

सवाल कैसे दिखते हैं

2,500 सवाल सौ से ज़्यादा विषयों में फैले हैं, जिनमें गणित का हिस्सा सबसे बड़ा है, और उसके बाद biology और medicine, computer science, physics, humanities, chemistry और engineering आते हैं। उदाहरणों में किसी प्राचीन शिलालेख का अनुवाद करना, पक्षियों के किसी खास परिवार की विशेष शारीरिक संरचनाओं को गिनना, या research स्तर का गणित का सवाल हल करना शामिल है। ज़्यादातर में छोटा और सटीक जवाब चाहिए, करीब एक चौथाई multiple choice हैं, और कुछ में image भी होती है। हर सवाल का एक ऐसा जवाब है जिसे जाँचा जा सकता है और जो झटपट web search से नहीं मिलता।

Calibration

HLE models से अपना confidence बताने को भी कहता है। शुरुआती नतीजों में गंभीर overconfidence दिखा: models ऊँचे भरोसे का दावा करते हुए गलत जवाब दे रहे थे, और calibration errors 70% या 80% से ऊपर थे। इससे HLE knowledge test के साथ-साथ hallucination test भी बन जाता है। जो model जानता है कि वह क्या नहीं जानता, वह उस model से ज़्यादा काम का है जो पूरे भरोसे के साथ तुक्का लगाता है।

आलोचनाएँ

  • Trivia या intelligence? कई सवाल बेहद दुर्लभ जानकारी परखते हैं। अच्छा score जानकारी का फैलाव और सावधान reasoning दिखाता है, लेकिन यह किसी researcher का काम करने जैसा नहीं है।
  • जवाबों की quality: frontier के सवालों को जाँचना मुश्किल है। 2025 की एक स्वतंत्र समीक्षा ने तर्क दिया कि chemistry और biology के जवाबों का अच्छा-खासा हिस्सा प्रकाशित literature से टकराता है। Maintainers समय के साथ सवालों को सुधारते और बदलते रहे हैं।
  • Adversarial selection: सवालों को 2024 के खास models के खिलाफ़ छाना गया था, इसलिए शुरुआती scores में कुछ हद तक वही छँटाई झलकती थी, सिर्फ़ कठिनाई नहीं।
  • Tools test को बदल देते हैं: web search वाला model, बिना search वाले model से अलग काम कर रहा होता है, इसलिए नतीजों में बताया जाना चाहिए कि कौन-सा इस्तेमाल हुआ।
  • नाम: यह आखिरी परीक्षा नहीं होगी। ज़्यादा कठिन benchmarks, और लंबे, open-ended tasks पर आधारित benchmarks पहले से ही पीछे-पीछे आ रहे हैं।

नतीजों को पढ़ना

बराबर की चीज़ों की तुलना कीजिए: वही tool access, वही reasoning effort। Accuracy के साथ calibration भी देखिए। और याद रखिए कि public सवाल समय के साथ training data में leak हो जाएँगे; आयोजक एक private set रखते हैं ताकि उन models को पकड़ा जा सके जो public set पर overfit हो गए हैं।

← सभी शब्द
ESC