मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › MMLU
प्रशिक्षण

MMLU

इसे भी कहा जाता है: Massive Multitask Language Understanding, MMLU-Pro, GPQA
57 विषयों के करीब 16,000 सवालों वाली एक multiple-choice परीक्षा, जो LLM की सामान्य जानकारी का मानक पैमाना थी जब तक models ने इसमें लगभग पूरे अंक नहीं ले लिए।

यह क्यों मायने रखता है

करीब चार साल तक MMLU लगभग हर model announcement और model card की पहली संख्या था। इसने "यह model कितना जानता है?" के सवाल के लिए कई क्षेत्रों में फैला एक आसानी से पढ़ा जाने वाला आँकड़ा दिया।

यह benchmark के जीवन-चक्र का किताबी उदाहरण भी है। GPT-4 2023 में करीब 86% तक पहुँचा, और frontier models तब से 90% के आसपास जमा हैं। उस बिंदु पर models के बीच का फ़र्क benchmark के अपने noise से छोटा होता है, और field ज़्यादा कठिन tests की ओर बढ़ गया। आपको MMLU अब भी दिखेगा, खासकर छोटे और open models के लिए, जहाँ यह अब भी कमज़ोर को मज़बूत से अलग करता है।

गहन अध्ययन

MMLU को 2020 में Dan Hendrycks और उनके साथियों ने प्रकाशित किया। इसमें 57 विषयों की असली परीक्षाओं और पढ़ाई की सामग्री से सवाल जुटाए गए हैं, प्राथमिक गणित और अमेरिकी इतिहास से लेकर college physics, professional law और medicine तक। हर सवाल के चार विकल्प होते हैं, इसलिए अंदाज़े से जवाब देने पर 25% score आता है। Score बस सही जवाबों का प्रतिशत है।

जब यह आया, तब सबसे अच्छे model GPT-3 ने करीब 44% score किया, जबकि इंसानी experts का अनुमान लगभग 90% था। इस बड़े अंतर ने इसे बरसों तक एक काम का पैमाना बनाए रखा।

यह कैसे चलाया जाता है

Models को आम तौर पर जवाबों के साथ कुछ उदाहरण सवाल दिए जाते हैं (5-shot) और फिर test का सवाल, और उन्हें A से D में से एक अक्षर output करना होता है। नतीजे prompt के format और जवाब निकालने के तरीके जैसी बारीकियों पर निर्भर करते हैं, इसलिए अलग-अलग स्रोतों के बताए scores की हमेशा तुलना नहीं की जा सकती।

जानी-पहचानी समस्याएँ

  • Saturation: शीर्ष models छत पर या उसके करीब हैं।
  • Data में गलतियाँ: 2024 की MMLU-Redux नाम की समीक्षा ने एक sample को दोबारा जाँचा और अनुमान लगाया कि 6% से ज़्यादा सवालों में गलतियाँ हैं, जैसे गलत answer keys या अस्पष्ट भाषा। Virology जैसे कुछ विषयों में जाँचे गए आधे से ज़्यादा सवालों में खामियाँ थीं। पूरे अंक लाना संभव ही नहीं है।
  • Contamination: सवाल बरसों से public हैं और पक्के तौर पर training data में हैं।
  • Format: multiple choice में generation की जगह पहचान को इनाम मिलता है, और model कभी-कभी जवाब जाने बिना विकल्प हटा सकता है।

उत्तराधिकारी

  • MMLU-Pro (2024): करीब 12,000 सवाल, चार की जगह दस विकल्प और reasoning पर ज़्यादा ज़ोर, जिससे शीर्ष scores फिर नीचे आ गए।
  • GPQA (2023): biology, physics और chemistry के 448 graduate-स्तर के सवाल, जिन्हें domain experts ने "Google-proof" होने के लिए लिखा। Web access और हर सवाल पर आधे घंटे के साथ कुशल non-experts ने सिर्फ़ 34% score किया, जबकि experts ने 65%। इसका सबसे कठिन हिस्सा, GPQA Diamond, reasoning models का standard benchmark बन गया, और 2025 तक अग्रणी models experts की baseline से ऊपर score करने लगे।
  • Humanity's Last Exam (2025): experts के लिखे सवाल, जिन्हें इस तरह बनाया गया कि उस समय के frontier models उनमें नाकाम रहें।

MMLU score को कैसे पढ़ें

इसे एक मोटी छलनी मानिए। 60% वाला model और 85% वाला model साफ़ तौर पर अलग हैं। 88% और 90% वाले दो models अलग नहीं हैं, कम से कम इस सबूत के आधार पर नहीं। अपने product के लिए model चुनते समय, आपके अपने tasks से बना एक छोटा test set किसी भी सामान्य ज्ञान की परीक्षा से ज़्यादा बताता है।

← सभी शब्द
ESC