Sullivan & Cromwell, देश की सबसे प्रतिष्ठित कानूनी फ़र्मों में से एक, ने मैनहट्टन में फ़ेडरल कोर्ट में एक बैंकरप्सी मोशन फ़ाइल किया जिसमें ऐसे केसों के साइटेशन थे जो मौजूद नहीं हैं, US बैंकरप्सी कोड के ग़लत उद्धृत किए हुए अंश थे, और असली केसों के अशुद्ध सारांश थे। न्यायाधीश Martin Glenn को फ़र्म के पुनर्गठन समूह के सह-प्रमुख Andrew Dietderich से माफ़ीनामा मिला। ग़लतियाँ Boies Schiller Flexner के विपक्षी वकील ने फ़ाइलिंग की रूटीन समीक्षा के दौरान पकड़ीं। सूत्रों ने Financial Times को बताया कि S&C के पास OpenAI के ChatGPT का एंटरप्राइज़ लाइसेंस है, हालांकि फ़र्म ने आधिकारिक तौर पर पुष्टि नहीं की कि किस मॉडल ने ख़राब साइटेशन प्रोड्यूस किए।
पैटर्न अब निराशाजनक हद तक परिचित है। Morgan & Morgan, Levidow Levidow & Oberman और छोटी फ़र्मों की एक श्रृंखला AI-हैल्यूसिनेटेड साइटेशन फ़ाइल करने के लिए पहले ही प्रतिबंधित हो चुकी हैं। इसे जो उल्लेखनीय बनाता है वो है फ़र्म: S&C कोई अकेला प्रैक्टिशनर शॉर्टकट के लिए Google नहीं कर रहा। यह वॉल स्ट्रीट की टॉप-5 फ़र्म है जिसकी बिलेबल दर दो हज़ार डॉलर प्रति घंटे से ऊपर है, एंटरप्राइज़ AI डिप्लॉयमेंट है, और जो भी वेरिफ़िकेशन वर्कफ़्लो चाहे बना सकती है उसके पास संसाधन हैं। हैल्यूसिनेटेड साइटेशन फिर भी पास हो गए। फ़ेल्योर मोड हर पिछले इंसिडेंट जैसा ही है: एक वकील ने मॉडल से सहायक केस ढूंढने को कहा, मॉडल ने कुछ ऐसा प्रोड्यूस किया जो सहायक केस जैसा लगा, और वकील ने ब्रीफ़ पर हस्ताक्षर किए बिना स्वतंत्र रूप से सत्यापित किए कि केस मौजूद हैं।
तकनीकी हक़ीक़त, जो अभी भी कन्फ़्यूज़ हैं उनके लिए: ChatGPT के पास कोर्ट के फ़ैसलों का सत्यापित डेटाबेस नहीं है। यह ऐसा टेक्स्ट जनरेट करता है जो लीगल साइटेशन के सामान्य पैटर्न से मैच करता है। जब सही साइटेशन ट्रेनिंग डेटा में मौजूद है, यह उसे सटीक रूप से दोहरा सकता है। जब सही साइटेशन मौजूद नहीं है या मॉडल अनिश्चित है, यह फिर भी एक प्रशंसनीय दिखने वाला साइटेशन प्रोड्यूस करेगा, असली सुनाई देने वाले केस नाम, असली सुनाई देने वाले रिपोर्टर वॉल्यूम और असली सुनाई देने वाले पेज नंबर के साथ। कोई आंतरिक झंडा नहीं है जो कहे "मैंने यह बनाया"। मॉडल नहीं जानता कि वह नहीं जानता। एंटरप्राइज़ लाइसेंस इसे नहीं बदलते; वे बिलिंग और डेटा रिटेंशन बदलते हैं, फ़ैक्ट रिट्रीवल पूछे जाने पर भाषा मॉडलों की कन्फ़ैब्युलेट करने की मूलभूत प्रवृत्ति नहीं।
समाधान परिचालन है, तकनीकी नहीं। कोई भी फ़र्म जो लीगल रिसर्च के लिए AI इस्तेमाल कर रही है उसे एक सख़्त नियम चाहिए कि हर साइटेशन ब्रीफ़ साइन होने से पहले Westlaw, LexisNexis या PACER के विरुद्ध स्वतंत्र रूप से सत्यापित हो, और सत्यापन चरण ऑडिटेबल हो। ऐसे टूल जो रिट्रीवल को असली केस डेटाबेस में ग्राउंड करते हैं — अब इस मार्केट को निशाना बनाने वाले कई हैं — वर्कफ़्लो को सस्ता बनाते हैं, पर वकील को जाँच के कर्तव्य से माफ़ नहीं करते। S&C का सबक यह नहीं है कि ChatGPT कानून में अनोखे रूप से ख़राब है; यह है कि एंटरप्राइज़ टूलिंग वाले परिष्कृत संगठन भी सत्यापन छोड़ देंगे अगर वर्कफ़्लो उन्हें मजबूर न करे। न्यायाधीशों का धैर्य जा रहा है। बार रेफ़रल और मौद्रिक प्रतिबंध ज़्यादा बार आ रहे हैं। जो फ़र्में संक्रमण से बचेंगी वो वो हैं जो मॉडल आउटपुट को जाँचने के लिए एक ड्राफ़्ट की तरह treat करती हैं, हस्ताक्षर के लिए तैयार उत्पाद की तरह नहीं।