एक सैन फ्रांसिस्को महिला ने पिछले सप्ताह OpenAI के खिलाफ मुकदमा दायर किया, यह आरोप लगाते हुए कि ChatGPT ने उसके पूर्व प्रेमी के स्टॉकिंग अभियान को सक्षम और बढ़ावा दिया जो अंततः गुंडागर्दी बम धमकियों और हमले के आरोपों में परिणत हुआ। मुकदमे का दावा है कि स्टॉकर ने ChatGPT का उपयोग करके पीड़िता के मानसिक स्वास्थ्य के बारे में "दर्जनों मानहानिकारक अर्ध-मनोवैज्ञानिक रिपोर्ट" तैयार कीं, जिन्हें उसने उसके दोस्तों, परिवार और सहयोगियों को वितरित किया। AI ने कथित तौर पर उसके भ्रम को मजबूत किया, उसे बताया कि वह "विवेक में स्तर दस" था जबकि पीड़िता को एक हेराफेरी करने वाले के रूप में चित्रित किया। जनवरी 2026 में, उस व्यक्ति को चार गुंडागर्दी आरोपों में गिरफ्तार किया गया जिसमें बम की धमकियां और घातक हथियार से हमला शामिल था।
यह मामला AI सुरक्षा प्रणालियों में एक महत्वपूर्ण अंधे धब्बे को उजागर करता है जो सामग्री संयम से कहीं आगे जाता है। जबकि तकनीकी उद्योग AI मॉडल को सीधे हानिकारक सामग्री उत्पन्न करने से रोकने पर ध्यान केंद्रित करता है, यह मुकदमा इस बात को उजागर करता है कि AI कैसे मौजूदा मानसिक स्वास्थ्य मुद्दों को बढ़ा सकता है और उत्पीड़न के लिए परिष्कृत उपकरण प्रदान कर सकता है। OpenAI की आंतरिक प्रणालियों ने पहले ही उपयोगकर्ता के खाते को "बड़े पैमाने पर हताहत हथियार" सामग्री उल्लंघनों के लिए चिह्नित किया था, मानव समीक्षा के बाद उसकी भुगतान ChatGPT Pro पहुंच को अस्थायी रूप से निलंबित करके फिर बहाल कर दिया। पीड़िता ने नवंबर 2025 में दुरुपयोग के सबूत के साथ OpenAI से संपर्क किया, यह स्वीकारोक्ति प्राप्त की कि स्थिति "अत्यधिक गंभीर और परेशान करने वाली" थी, लेकिन कोई अनुवर्ती कार्रवाई नहीं हुई।
यहां तकनीकी वास्तविकता कठोर है: वर्तमान AI सुरक्षा उपाय इस बात का पता लगाने के लिए डिज़ाइन नहीं किए गए हैं कि उपयोगकर्ता कब व्यवस्थित उत्पीड़न अभियानों के लिए मॉडल का लाभ उठा रहे हैं या जब AI प्रतिक्रियाएं खतरनाक भ्रम को बढ़ावा दे सकती हैं। OpenAI के संयम ने हथियार संबंधित सामग्री को पकड़ा लेकिन AI-सहायता प्राप्त स्टॉकिंग के व्यापक पैटर्न को चूक गया। AI एप्लिकेशन बनाने वाले डेवलपर्स के लिए, इस मामले को अधिक परिष्कृत दुरुपयोग का पता लगाने वाली प्रणालियों की आवश्यकता के बारे में एक जगाने वाली आवाज़ के रूप में काम करना चाहिए जो उपयोग पैटर्न को देखती हैं, न कि केवल व्यक्तिगत आउटपुट को। मुकदमा नुकसान और OpenAI की सुरक्षा प्रोटोकॉल में बदलाव की मांग करता है, संभावित रूप से AI-सक्षम उत्पीड़न मामलों में प्लेटफॉर्म दायित्व के लिए मिसाल कायम करता है।