ARC-AGI
यह क्यों मायने रखता है
ARC-AGI एक खास दावे पर टिका है: intelligence यह नहीं है कि आप कितना जानते हैं, बल्कि यह है कि आप नए skills कितनी कुशलता से सीखते हैं। ज्ञान के सवालों से भरे benchmarks बड़े पैमाने पर रटकर पास किए जा सकते हैं। ARC नए puzzles इस्तेमाल करके और उनमें से कुछ को private test sets में रखकर इसे असंभव बनाने की कोशिश करता है।
इसी वजह से यह AGI की बहसों के केंद्र में रहा है। जो large language models ज्ञान की परीक्षाओं में अव्वल आते थे, वे बरसों तक ARC पर शून्य के आसपास score करते रहे। फिर दिसंबर 2024 में OpenAI का reasoning model o3 compute सीमाओं के भीतर semi-private set पर 75.7% तक पहुँचा, और कहीं ज़्यादा compute के साथ 87.5% तक। यह तब तक का सबसे साफ़ संकेत था कि test-time compute और reasoning models ने बदल दिया है कि AI क्या कर सकता है, हालाँकि ऊपरी छोर पर हर task की लागत हज़ारों dollars थी।
गहन अध्ययन
ARC को Keras deep learning library के निर्माता François Chollet ने 2019 में अपने paper "On the Measure of Intelligence" के साथ बनाया। हर task में छोटे रंगीन grids की कुछ example जोड़ियाँ दिखाई जाती हैं: एक input grid और वह output grid जो उससे बनना चाहिए। हल करने वाले को छिपा हुआ नियम समझना होता है (बंद आकृतियों को भरना, pattern को mirror करना, objects गिनकर bar बनाना) और उसे नए input पर लगाना होता है। न कोई text है, न trivia, न कोई विशेष ज्ञान, बस abstraction।
ज़्यादातर लोग ये puzzles आसानी से हल कर लेते हैं। बरसों तक AI systems नहीं कर पाए।
Versions
- ARC-AGI-1 (2019): 800 public tasks का मूल set और साथ में hidden evaluation sets।
- ARC-AGI-2 (2025): ज़्यादा कठिन tasks, जो brute-force search को झेलने और ज़्यादा compositional reasoning माँगने के लिए बने हैं। Launch के समय आगे चल रहे AI systems बहुत कम, इकाई अंकों में score कर रहे थे जबकि human testers ये tasks हल कर लेते थे, और तब से scores चढ़ रहे हैं।
- ARC-AGI-3 (2026): 25 मार्च 2026 को launch हुआ एक interactive benchmark, जहाँ agents को छोटे game जैसे environments explore करके लक्ष्य और नियम खुद समझने होते हैं। Launch के समय इंसानों ने 100% score किया और frontier AI systems ने 1% से कम।
ARC Prize
2024 से ARC Prize Foundation हर साल एक प्रतियोगिता चलाता है, जिसमें कड़ी सीमाओं के भीतर private set पर ऊँचा score पाने के लिए बड़ा grand prize है: solutions को साधारण hardware पर offline और तय समय के भीतर चलना होता है। इससे ध्यान कुशल विधियों पर रहता है, समस्या पर असीमित compute झोंकने पर नहीं। जीतने वाले तरीकों में test-time training शामिल रही है, जहाँ model हर puzzle के examples पर खुद को थोड़ी देर fine-tune करता है।
Efficiency भी score का हिस्सा है
Leaderboard accuracy के साथ हर task की लागत भी बताता है। हर puzzle पर $10,000 का compute लगाकर कोई score पाना और वही score कुछ cents में पाना, दोनों बहुत अलग उपलब्धियाँ मानी जाती हैं। यह benchmark के मूल विचार को दर्शाता है कि intelligence में efficiency शामिल है।
ARC के नतीजे कैसे पढ़ें
ARC का ऊँचा score flexible reasoning का ठोस सबूत है, लेकिन general intelligence का प्रमाण नहीं। ये puzzles एक सीमित format हैं और भाषा, असली दुनिया के ज्ञान या लंबी अवधि की planning को नहीं परखते। Chollet ने खुद कहा है कि "ARC-AGI पास करना AGI हासिल करने के बराबर नहीं है", और ARC Prize के president Greg Kamradt ने कहा है कि ARC को हराना AGI के लिए ज़रूरी है पर काफ़ी नहीं। इसे मौजूद सबसे कठिन और सबसे ईमानदार reasoning tests में से एक मानिए, finish line नहीं।