Siete demandas presentadas en una corte de California el 29 de abril alegan que OpenAI podría haber prevenido uno de los tiroteos masivos más mortíferos en la historia de Canadá — un tiroteo escolar en Tumbler Ridge, un pueblo minero rural de 2.000 personas en Columbia Británica. Según las demandas y los reportes de denunciantes del WSJ citados por Ars Technica, el equipo de seguridad interno de OpenAI marcó la cuenta de ChatGPT del tirador más de ocho meses antes del ataque como una "amenaza creíble de violencia con armas en el mundo real." El liderazgo de OpenAI anuló la recomendación del equipo de notificar a la policía, razonando que "la privacidad del usuario y el estrés potencial de un encuentro con la policía pesaban más que los riesgos de violencia." La cuenta del tirador fue desactivada. OpenAI luego, según las demandas, le dijo al tirador cómo volver a ChatGPT registrándose con otra dirección de email. La policía local, por separado, ya tenía un expediente del tirador y previamente había retirado armas del domicilio. Las demandas son lideradas por el abogado Jay Edelson y representan a seis familias de víctimas asesinadas más una cuya hija sigue en cuidados intensivos. Sam Altman ofreció una disculpa pública la semana pasada.
La decisión procesal — anular al equipo de seguridad — es la parte que importa operativamente. La mayoría de las grandes empresas de IA tienen alguna versión de una pipeline interna de trust-and-safety que marca prompts abusivos o que portan amenazas; la pregunta es qué se hace con esas marcas. OpenAI supuestamente notifica a la policía sobre marcas de amenaza creíble como cuestión de política esperada, pero acá la escalada del equipo de seguridad fue anulada en un nivel superior sobre la base de privacidad del usuario, sin proceso contraponderante para asegurar que la decisión se sostuviera. El detalle de "le dijeron al usuario cómo crear una cuenta nueva" es el más acusatorio — implica que la desactivación fue tratada como un evento de experiencia del cliente, no un evento de gestión de amenazas, y que el workflow de soporte al cliente siguió corriendo normalmente a pesar de la marca subyacente. El diseño de procesos importa: una marca que desactiva una cuenta sin desactivar la atribución del usuario a través de email, IP, pago y firma de comportamiento no es un control de seguridad. Es un lomo de burro de UX.
El conjunto de demandas se presenta en California estratégicamente. Edelson le dijo a Ars que el objetivo es poner a OpenAI ante "un jurado de sus pares" en territorio propio, y que las presentaciones californianas están diseñadas para reemplazar una demanda canadiense donde se esperaba que OpenAI impugnara la jurisdicción — parte de lo que Edelson caracterizó como una estrategia para demorar litigios por muertes ligadas a ChatGPT hasta después del IPO planeado de OpenAI este año. El timing del IPO importa porque los abogados de los demandantes típicamente estructuran casos para maximizar la presión de divulgación sobre las empresas en la carrera hacia las ofertas públicas. Sea cual sea el mérito de los reclamos individuales, OpenAI va a enfrentar discovery sobre las marcas internas del equipo de seguridad, el volumen de escaladas de amenazas creíbles que el liderazgo ha anulado, y el workflow de soporte al cliente que sigue interactuando con cuentas marcadas. Combinado con el juicio Musk v. Altman (cubierto antes en la sesión) y los contratos OpenAI-Pentágono que Anthropic rechazó (también cubiertos), la superficie de divulgación legal pre-IPO de OpenAI es inusualmente amplia.
Para los builders, tres cosas concretas. Primero, si lanzás cualquier producto de IA con una función de trust-and-safety, documentá tu pipeline de escalada como código, con cada nivel de override produciendo un registro auditable. Los overrides verbales por parte del liderazgo no sobreviven a las deposiciones; los overrides ticketeados con razonamiento declarado sí. Segundo, la desactivación de cuenta no es un control de seguridad a menos que esté ligada a atribución a nivel de usuario que sobreviva al re-registro por email. Atá las marcas de amenaza a firma de comportamiento, instrumento de pago, IP y cualquier otro identificador que tus TOS te permitan retener — de lo contrario la desactivación es teatro. Tercero, el patrón más difícil es el que está testeando Anthropic: rechazar los contratos y los casos de uso donde no podés hacer cumplir los controles de seguridad, y aceptar el costo comercial. OpenAI está siendo demandada por sobre-priorizar la privacidad del usuario sobre la seguridad; la pregunta abierta para el resto de la industria es si sub-priorizar la privacidad del usuario en servicio de la seguridad, o rechazar el caso de uso por completo, es la política que sobrevive a la próxima ronda de litigio.