UK सरकार के AI Security Institute (AISI) ने गुरुवार को अद्यतन cyber-capability tracking प्रकाशित की जिसमें ऐसे नंबर हैं जो field के पहले के trajectory estimate को संशोधित करते हैं। AISI frontier model की cyber capability को "time horizon benchmarks" से मापता है — एक AI system human experts की तुलना में cybersecurity tasks को कितनी देर तक autonomously complete कर सकता है। फ़रवरी 2026 का estimate 80%-reliability cyber time horizon को हर 4.7 महीने में दोगुना होने पर रखता है, late 2024 में reasoning models उभरने के बाद से, 2.5M token की limit प्रति task पर। नवंबर 2025 का estimate 50% और 80% reliability दोनों के लिए 8 महीने था — तो तीन महीने में doubling rate लगभग आधी हो गई। Claude Mythos Preview और GPT-5.5 ने तब से 4.7 महीने के संशोधित trend से भी significantly बेहतर प्रदर्शन किया है; AISI स्पष्ट रूप से खुले प्रश्न को flag करता है कि क्या यह "मौजूदा progress rates से एक अलग break है या एक नए, तेज़ trend का हिस्सा"। ईमानदार framing मायने रखती है: AISI नया trend घोषित नहीं कर रहा, केवल यह document कर रहा है कि सबसे हालिया data हाल ही में संशोधित estimate से भी तेज़ है।
विशिष्ट cyber-range results वही हैं जो इसे ठोस बनाते हैं। Claude Mythos Preview AISI के दोनों evaluated ranges complete करने वाला पहला model बन गया। "The Last Ones" — एक 32-step simulated corporate network attack — 10 attempts में से 6 बार solve हुआ। "Cooling Tower" — एक 7-step industrial control system attack, पहले किसी भी tested model द्वारा unsolved — 10 में से 3 बार solve हुआ। GPT-5.5 ने "The Last Ones" 10 में से 3 बार complete किया पर रिपोर्ट किए गए runs में Cooling Tower solve नहीं किया। Mythos और GPT-5.5 दोनों ने सीमित cyber test suite में सबसे लंबे tasks पर लगभग 100% success rate हासिल किया, 2.5M token cap लागू होने के बावजूद। Cooling Tower ICS result operationally सबसे महत्त्वपूर्ण data point है — इस round तक, industrial-controls scenario ने हर tested frontier model का सामना किया था, और single model से 3/10 success rate OT systems चला रही किसी भी organization के लिए defensive-planning threshold पार कर देता है। AISI की tracking METR के साथ consistent है, वह nonprofit research group जिसका AI software-engineering capability metric late 2024 से लगभग हर 4.2 महीने में दोगुना हो रहा है।
benchmark-saturation problem सबसे ध्यान से तौलने योग्य हिस्सा है। AISI स्पष्ट रूप से नोट करता है: "नवीनतम frontier models current cyber evaluation framework की सीमाओं को पार करने लगे हैं... एक बार जब models लगातार सबसे कठिन tasks complete करते हैं, benchmark को मापना कठिन हो जाता है।" 2.5M token cap हटाने से success rates इतनी ऊँची हो जाएँगी कि time horizon estimates "अब विश्वसनीय रूप से calculate नहीं किए जा सकते।" यह CLAUDE.md द्वारा महत्त्व दी गई harness-disclosure ईमानदारी है — benchmark उस regime के पास आ रहा है जहाँ वह models के बीच अंतर नहीं करता, और AISI इसे कह रहा है। निष्कर्ष यह है कि frontier labs से capability claims की अगली round को नई evals चाहिए या meaningless होने का जोखिम है; उम्मीद करो कि Mythos Preview और GPT-5.5 को "AISI cyber suite पर 100%" के रूप में cite किया जाएगा जबकि underlying differentiation invisible है। इसे कल के VectorSmuggle research (RAG infrastructure पर novel attack class) और पिछले सप्ताह के Microsoft MDASH (100+ agents Windows RCEs ढूँढ़ते हुए) के साथ pair करो: offensive capability एक साथ कई measurement frames में compound हो रही है।
builders और defensive security teams के लिए: मान लो कि 4.7-month doubling trajectory कम से कम Q3 2026 तक टिकेगी, और Mythos/GPT-5.5 outperformance को additional headroom के रूप में मानो। ठोस planning implications: (1) single frontier model जिस time horizon को autonomously सहायता दे सकता है multi-step intrusion operations के लिए, अब dozens-of-steps में मापा जाता है, single-shot exploits नहीं — point-in-time detection के चारों ओर बनी defensive monitoring आगे ज़मीन खोती रहेगी; (2) industrial-control-systems threshold (Cooling Tower) एक model द्वारा cross होने का मतलब है कि वही threshold दूसरों द्वारा current trajectory पर 3-6 महीनों में cross होगा — OT/ICS security teams को AISI-style cyber-range evals अपने अंदर चलानी चाहिए, उन models के विरुद्ध जिनका सामना करने की उम्मीद है; (3) AISI की cyber-range methodology खुद उठाने योग्य हिस्सा है — "क्या model ने 32-step corporate attack scenario solve किया" CTF aggregate scores से risk modeling के लिए ज़्यादा उपयोगी eval है। AISI के अगले quarterly update पर नज़र रखो; अगर 4.7-month doubling टिकता है, year-end पर cyber time horizon अब के लगभग 4× होगा।