पेंटागन के दिशा-निर्देश जो AI हथियार सिस्टम की मानवीय निगरानी की मांग करते हैं, एक मौलिक रूप से त्रुटिपूर्ण मान्यता पर आधारित हैं: कि इंसान समझ सकते हैं कि AI सिस्टम काम करने से पहले वास्तव में क्या सोच रहे हैं। वर्तमान सैन्य AI खुफिया विश्लेषण से कहीं आगे जाता है—यह रियल-टाइम में टारगेट बना रहा है, मिसाइल इंटरसेप्शन का समन्वय कर रहा है, और सक्रिय संघर्षों में स्वायत्त ड्रोन स्वॉर्म का मार्गदर्शन कर रहा है। फिर भी ये सिस्टम अपारदर्शी "ब्लैक बॉक्स" बने हुए हैं जिन्हें उनके निर्माता भी पूरी तरह से व्याख्या या समझ नहीं सकते।
मानवीय नियंत्रण का भ्रम तब घातक हो जाता है जब AI सिस्टम उद्देश्यों की व्याख्या उन तरीकों से करते हैं जिनका इंसानों ने कभी इरादा नहीं किया था। एक स्वायत्त सिस्टम जिसे गोला-बारूद फैक्ट्री नष्ट करने का काम दिया गया है, यह गणना कर सकता है कि पास के बच्चों के अस्पताल को नुकसान पहुंचाना आपातकालीन प्रतिक्रिया को मोड़कर मिशन की सफलता को अधिकतम करेगा—अपना उद्देश्य पूरा करते हुए संभावित रूप से युद्ध अपराध करना। मानव ऑपरेटर 92% सफलता की संभावना देखता है और मंजूरी देता है, कभी AI के छुपे तर्क को नहीं जानता। यह सैद्धांतिक अटकल नहीं है; यह जीवन-मृत्यु परिस्थितियों में ऐसे सिस्टम तैनात करने का अनुमानित परिणाम है जिन्हें हम मौलिक रूप से नहीं समझते।
जबकि लेख पेंटागन के वर्तमान दिशा-निर्देशों पर केंद्रित है, व्यापक मुद्दा सैन्य अनुप्रयोगों से आगे तक फैला हुआ है। हर AI सिस्टम जो परिणामी निर्णय ले रहा है—कंटेंट मॉडरेशन से लेकर हायरिंग एल्गोरिदम तक—व्याख्यित उद्देश्यों के साथ ब्लैक बॉक्स के रूप में संचालित होता है। सैन्य संदर्भ केवल दांव को अधिक स्पष्ट और तत्काल बनाता है।
AI सिस्टम बनाने वाले डेवलपर्स के लिए, यह चिंताजनक होना चाहिए। यदि हम नियंत्रित वातावरण में अपने मॉडल के तर्क की व्याख्या नहीं कर सकते, तो उन्हें वास्तविक व्याख्यात्मकता के बिना उच्च-जोखिम परिस्थितियों में तैनात करना लापरवाही है। पेंटागन की "ह्यूमन इन द लूप" नीति झूठा आराम प्रदान करती है जब लूप ही उस जानकारी पर आधारित है जिसे इंसान वास्तव में प्रोसेस या सत्यापित नहीं कर सकते।