MIT Technology Review की Eileen Guo ने बुधवार को AI chatbots पर एक substantive privacy investigation प्रकाशित की जो अपने outputs में असली, काम करने वाले phone numbers surface कर रहे हैं। नामित victim हैं Daniel Abraham, इज़राइल में 28-वर्षीय software engineer, जिन्हें अजनबियों से WhatsApp messages आने लगे जो PayBox customer support माँग रहे थे — Google Gemini उनके निजी number को PayBox की WhatsApp service line के रूप में hallucinate कर रहा था। Abraham PayBox में काम नहीं करते; PayBox WhatsApp customer service नहीं देता; PayBox ने यह MIT Tech Review को पुष्टि की। जब reporter ने स्वतंत्र रूप से Gemini से पूछा, उसने एक अन्य व्यक्ति का नंबर लौटाया — एक इज़राइली credit-card-company employee का। दो अन्य documented मामले: एक Reddit user जिस पर "वकील, product designer, locksmith" खोजते हुए लोगों के कॉल एक महीने तक आते रहे (स्पष्ट रूप से Google AI द्वारा misdirected), और University of Washington की एक PhD candidate जिसने casually Gemini से एक colleague का personal cell number उगलवा लिया।
ठोस data point जो pin करने योग्य है, DeleteMe (personal-information-removal कंपनी) से आता है: customer queries generative AI के बारे में पिछले सात महीनों में 400% बढ़ी हैं, low thousands तक। users किस chatbot की शिकायत करते हैं उसका breakdown: 55% ChatGPT, 20% Gemini, 15% Claude, 10% अन्य। DeleteMe के CEO Rob Shavell दो failure modes बताते हैं: (1) user chatbot से अपने बारे में कुछ पूछता है और accurate home address, phone, family members, या employer मिलते हैं; (2) user रिपोर्ट करता है कि chatbot ने किसी और की contact info surface कर दी, कभी-कभी "plausible-but-wrong"। दोनों modes major chatbots पर दिख रहे हैं। California का data broker registry एक और data point जोड़ता है: 578 registered brokers में से 31 ने self-report किया कि उन्होंने पिछले साल consumer data किसी GenAI developer को बेचा या साझा किया — registry का एक छोटा अंश पर PII के training sets तक जाने का एक मापन योग्य औपचारिक channel।
mechanism वह हिस्सा है जिसे builders को आत्मसात करना चाहिए। LLM training crawls में करोड़ों PII instances शामिल हैं — Abraham का number, उदाहरण के लिए, 2015 में एक स्थानीय Quora-जैसी साइट पर एक बार पोस्ट हुआ प्रतीत होता है, और वह एकमात्र 11-वर्ष पुराना post Gemini द्वारा अब उसे reproduce करने का सबसे plausible स्रोत है। पिछले गर्मियों में documented किया गया DataComp CommonPool dataset scanned résumés, driver's licenses, और credit cards शामिल करता था। Models training sets से data को verbatim memorize और reproduce करते हैं, और हाल का research सुझाव देता है कि सिर्फ़ उच्च-frequency content ही memorize नहीं होती — rare items भी रह सकते हैं। मानक guardrails (PII content filters, Claude का "least personal information" निर्देश) कुछ पकड़ते हैं पर साफ़ तौर पर तब विफल होते हैं जब model PII को authoritative customer-service data के रूप में बर्ताव करता है, private content के रूप में नहीं। structural fix training-data preprocessing layer पर है, output filtering पर नहीं — पर किसी भी major lab ने एक comprehensive PII-redaction audit प्रकाशित नहीं किया जो third parties को verify करने दे कि उनके training corpora साफ़ हैं।
builders के लिए: अगर तुम एक product ship करते हो जो foundation model को wrap करता है और outputs को end users पर expose करता है, तो PII leakage अब एक real surface area है। तीन ठोस actions: (1) model responses users को पास करने से पहले output side पर phone/email/address के regex + named-entity detection जोड़ो, इन्हें content-policy violations के रूप में मानो जिन्हें suppress या rewrite किया जाए; (2) अपने model vendor से training-data PII redaction practices और memorization-mitigation techniques (differential privacy, deduplication, scale पर k-anonymity) के बारे में documentation माँगो — अधिकांश टालेंगे पर सवाल एक paper trail बनाता है; (3) "इस output ने मेरी जानकारी expose की" के लिए एक end-user reporting mechanism बनाओ, fast-path retraction process के साथ। end users और policymakers के लिए: DeleteMe का 400% spike leading indicator है कि harm की यह category अब theoretical नहीं है, और structural fix lab level पर बैठता है, जिसका मतलब है regulator pressure सबसे संभावित lever है। Abraham की quote — "अगर मैं उस customer service समस्या को 'solve' करने के लिए पैसे माँगूँ तो?" — harm की shape को नाम देती है: सिर्फ़ nuisance calls नहीं, बल्कि एक नई attack surface जहाँ कोई bad actor Gemini-misdirected traffic को monetize कर सकता है।