Sullivan & Cromwell, un des cabinets d'avocats les plus prestigieux du pays, a déposé une motion de faillite en cour fédérale à Manhattan qui contenait des citations de causes qui existent pas, des passages mal cités du code de la faillite américain pis des résumés inexacts de causes réelles. Le juge Martin Glenn a reçu une lettre d'excuses d'Andrew Dietderich, cochef du groupe de restructuration du cabinet. Les erreurs ont été pognées par l'avocat adverse chez Boies Schiller Flexner pendant la révision routinière du dépôt. Des sources ont dit au Financial Times que S&C a une licence entreprise pour ChatGPT d'OpenAI, même si le cabinet a pas officiellement confirmé quel modèle a produit les mauvaises citations.
Le pattern est rendu familier en maudit. Morgan & Morgan, Levidow Levidow & Oberman pis une série de plus petits cabinets ont déjà été sanctionnés pour avoir déposé des citations hallucinées par IA. Ce qui rend celle-là notable, c'est le cabinet : S&C, c'est pas un praticien solo qui Google pour des raccourcis. C'est un cabinet top-5 de Wall Street avec des taux facturables au-dessus de deux mille dollars de l'heure, un déploiement IA entreprise pis les ressources pour bâtir n'importe quel workflow de vérification qu'il veut. Les citations hallucinées sont passées pareil. Le mode d'échec, c'est le même que chaque incident d'avant : un avocat a demandé au modèle de trouver des causes à l'appui, le modèle a sorti quelque chose qui ressemblait à des causes à l'appui, pis l'avocat a signé le mémoire sans vérifier indépendamment que les causes existaient.
La réalité technique, pour ceux qui sont encore confus : ChatGPT a pas de base de données vérifiée de décisions de cour. Il génère du texte qui matche le pattern de ce à quoi les citations légales ressemblent habituellement. Quand la bonne citation existe dans les données d'entraînement, il peut la reproduire correctement. Quand la bonne citation existe pas ou que le modèle est pas certain, il va produire une citation qui a l'air plausible pareil, avec un nom de cause qui sonne vrai, un volume de recueil qui sonne vrai pis un numéro de page qui sonne vrai. Y a pas de drapeau interne qui dit « j'ai inventé ça ». Le modèle sait pas qu'il sait pas. Les licences entreprise changent pas ça ; elles changent la facturation pis la rétention de données, pas la tendance fondamentale des modèles de langage à confabuler quand on leur demande de récupérer des faits.
La solution est opérationnelle, pas technologique. Tout cabinet qui utilise l'IA pour la recherche juridique a besoin d'une règle dure que chaque citation est vérifiée indépendamment contre Westlaw, LexisNexis ou PACER avant la signature du mémoire, pis l'étape de vérification doit être auditable. Les outils qui ancrent la récupération dans de vraies bases de données de causes — y en a plusieurs visant ce marché maintenant — rendent le workflow moins cher, mais ils absolvent pas l'avocat du devoir de vérifier. La leçon de S&C, c'est pas que ChatGPT est uniquement mauvais en droit ; c'est que même les organisations sophistiquées avec du tooling entreprise vont sauter la vérification si le workflow les force pas. Les juges sont à court de patience. Les renvois au Barreau pis les sanctions monétaires arrivent plus souvent. Les cabinets qui vont survivre à la transition, c'est ceux qui traitent la sortie du modèle comme un brouillon à vérifier, pas comme un produit fini à signer.