Google DeepMind ने Schmidt Sciences, यूके सरकार की moonshot एजेंसी ARIA, Cooperative AI Foundation और Google.org के साथ मिलकर multi-agent AI safety research के लिए 1 करोड़ डॉलर तक का एक funding pool खोला, और framing पैसे जितनी ही मायने रखती है। जैसा DeepMind के AGI safety और alignment research निदेशक Rohin Shah कहते हैं, निकट भविष्य ऐसा है जहां लाखों AI agents digital वातावरणों में interact करेंगे, एक-दूसरे से संवाद, मोलभाव और लेनदेन करते हुए, अक्सर लोगों के बजाय दूसरे agents से निर्देश लेते हुए। एक बार जब agents बिना किसी इंसान के loop में रहे एक-दूसरे के outputs पर काम करते हैं, वह तर्क देते हैं, तो आपको जोखिम का एक बिल्कुल नया वर्ग मिलता है जिसे पिछले दो साल का single-agent safety काम कभी कवर करने के लिए नहीं बनाया गया था।
नामित खतरे साधारण से लेकर systemic तक फैले हैं। ठोस छोर पर: scams और धोखाधड़ी की योजनाएं, और prompt injection जो एक agent को उसके पढ़े content में दबे निर्देशों का पालन करते हुए एक self-guiding malware में बदल देता है। system छोर पर: agent से agent तक फैलने वाले cyberattacks, critical infrastructure के उस स्थिति में गिरने की संभावना जिसे Shah बेबाकी से absolute anarchy कहते हैं, और emergent सामूहिक व्यवहार का नाम देना कठिन जोखिम, यानी agents के interact करने से उभरने वाली ऐसी क्षमताएं जो उनमें से किसी के पास अकेले नहीं थीं। वह इस दोधारी तलवार को सीधे उद्धृत करते हैं: हमारे संस्थान ऐसी चीजें हासिल कर सकते हैं जो कोई एकल इंसान नहीं कर सकता, और ठीक यही कारण है कि agents की एक आबादी भी कर सकती है, चाहे अच्छा हो या बुरा। Shah ने शुद्ध आर्थिक-पतन परिदृश्यों को छह-महीने की window से बाहर रखा पर अब अध्ययन के योग्य समुच्चय के भीतर, अप्रत्याशित आर्थिक गतिविधि उछाल और अस्थिर network-व्यापी विफलताओं के साथ।
पैसा जो पहली चीज खरीदता है वह इस में से किसी का भी अध्ययन कर पाने की क्षमता है, क्योंकि केंद्रीय स्वीकारोक्ति चौंकाने वाली है: multi-agent safety के लिए अभी सचमुच कोई research क्षेत्र है ही नहीं। कार्यक्रम चार प्राथमिकताएं नामित करता है। एक, sandboxes और testbeds, यानी पुनरुत्पाद्य virtual marketplaces और simulated ecosystems जहां आप agents को बड़े पैमाने पर डाल सकते हैं, क्योंकि यह व्यवहार एक या छोटे समूह के agents से अनुमानित नहीं किया जा सकता। दो, agent networks का एक विज्ञान, यह समझना कि सामूहिक क्षमताएं कैसे उभरती हैं और खतरनाक population-स्तर गुणों का काटने से पहले पता लगाना। तीन, agents जिस infrastructure पर निर्भर हैं उसे मजबूत करना, यानी identity, reputation और commitment protocols जो agents को एक-दूसरे पर भरोसा करने देते हैं। चार, oversight और control, तैनात agent आबादियों की निगरानी और सामूहिक नुकसान को कम करना। आवेदन 8 अगस्त को बंद होते हैं, अनुदान पतझड़ में अपेक्षित।
इस newsroom जिस बड़ी picture को track करता है, उसके लिए यह safety की धुरी है जो इस बार उस deployment से थोड़ा आगे आ रही है जिसकी वह चिंता करती है, बजाय उसके बाद सफाई करने के। पिछले पखवाड़े की हर agent-runtime कहानी ने वही अंतिम-बिंदु माना, यानी कई interact करते agents की एक दुनिया, और आज की OWASP रिपोर्ट ने दिखाया कि जो per-agent बचाव मौजूद हैं, यानी lethal trifecta, Rule of Two, वे यह सीमित करते हैं कि एक compromised agent क्या तक पहुंच सकता है। DeepMind की चिंता उन सबके ऊपर वाली परत है: आबादी। कोई per-agent नियम यह संबोधित नहीं करता कि एक लाख agents सामूहिक रूप से क्या करते हैं, एक बाजार या एक power grid में, किसी भी इंसान के देख पाने से तेज़। यही पूरे agentic निर्माण के नीचे का सचमुच खुला सवाल है, और यह Tier-3 है ठीक उस अर्थ में कि यह किसी product से बड़ी किसी चीज़ की ओर खुलता है, यानी उन systems में emergence जिन्हें हम समझने से पहले जोड़ रहे हैं। किसी क्षेत्र को उसके विषय के पूरी तरह आने से पहले अस्तित्व में फंड कर देना यहां असामान्य और स्वागत-योग्य आकार है, और ईमानदार चेतावनी खुद DeepMind के शब्दों में है: सवाल का जवाब देने वाला विज्ञान अभी मौजूद नहीं है, तो फिलहाल interact करते agents की एक दुनिया के बारे में कोई भी जो सबसे सच्ची बात कह सकता है वह यह है कि हम नहीं जानते।