Sullivan & Cromwell, uno de los bufetes más prestigiosos del país, presentó una moción de bancarrota en una corte federal en Manhattan que contenía citas de casos que no existen, pasajes mal citados del código de bancarrotas estadounidense y resúmenes inexactos de casos reales. El juez Martin Glenn recibió una carta de disculpas de Andrew Dietderich, co-jefe del grupo de reestructuración del bufete. Los errores los detectó el abogado contrario en Boies Schiller Flexner durante la revisión rutinaria del expediente. Fuentes le dijeron al Financial Times que S&C tiene una licencia empresarial para ChatGPT de OpenAI, aunque el bufete no ha confirmado oficialmente qué modelo produjo las citas malas.
El patrón a estas alturas es deprimentemente familiar. Morgan & Morgan, Levidow Levidow & Oberman y una serie de bufetes más pequeños ya han sido sancionados por presentar citas alucinadas por IA. Lo que hace esta notable es el bufete: S&C no es un practicante solo googleando atajos. Es un bufete top-5 de Wall Street con tarifas facturables por encima de dos mil dólares la hora, un despliegue empresarial de IA y los recursos para construir cualquier flujo de verificación que quiera. Las citas alucinadas pasaron igual. El modo de falla es el mismo que cada incidente anterior: un abogado le pidió al modelo que encontrara casos de apoyo, el modelo produjo algo que parecía casos de apoyo, y el abogado firmó el escrito sin verificar independientemente que los casos existieran.
La realidad técnica, para quien siga confundido: ChatGPT no tiene una base de datos verificada de fallos judiciales. Genera texto que hace match con cómo suelen verse las citas legales. Cuando la cita correcta existe en los datos de entrenamiento, puede reproducirla con precisión. Cuando la cita correcta no existe o el modelo no está seguro, producirá una cita de apariencia plausible de todas formas, con un nombre de caso de sonido real, un volumen de reportero de sonido real y un número de página de sonido real. No hay una bandera interna que diga "esto lo inventé". El modelo no sabe que no sabe. Las licencias empresariales no cambian esto; cambian la facturación y la retención de datos, no la tendencia fundamental de los modelos de lenguaje a confabular cuando se les pide recuperar hechos.
El arreglo es operativo, no tecnológico. Cualquier bufete que use IA para investigación legal necesita una regla dura de que cada cita se verifica independientemente contra Westlaw, LexisNexis o PACER antes de que se firme el escrito, y el paso de verificación tiene que ser auditable. Las herramientas que anclan la recuperación en bases de datos reales de casos — hay varias apuntando a este mercado ahora — hacen el flujo más barato, pero no absuelven al abogado del deber de verificar. La lección de S&C no es que ChatGPT sea únicamente malo en derecho; es que incluso organizaciones sofisticadas con tooling empresarial se saltarán la verificación si el flujo no las obliga. Los jueces se están quedando sin paciencia. Las remisiones al colegio de abogados y sanciones monetarias están llegando más a menudo. Los bufetes que van a sobrevivir la transición son los que tratan la salida del modelo como un borrador para revisar, no como un producto terminado para firmar.
