Una víctima de acoso está demandando a OpenAI, alegando que la empresa ignoró tres advertencias separadas sobre un usuario que estaba usando ChatGPT para alimentar campañas de acoso contra su ex-novia. Según la demanda, los propios sistemas de OpenAI marcaron al usuario por riesgo potencial de víctimas masivas, sin embargo la empresa no tomó acción para prevenir el abuso continuo. La víctima supuestamente contactó a OpenAI directamente sobre el comportamiento peligroso, pero sus advertencias fueron desestimadas.
Este caso expone una brecha crítica en la infraestructura de seguridad de IA que va más allá de la moderación de contenido. Mientras empresas como OpenAI invierten fuertemente en prevenir que los modelos generen contenido dañino, han construido virtualmente ningún sistema para identificar y detener usuarios que convierten las herramientas de IA en armas para acoso sostenido. La demanda sugiere que OpenAI tuvo múltiples oportunidades de intervenir—incluyendo alertas automatizadas de sus propios sistemas de seguridad—pero eligió no actuar.
Lo que es particularmente condenatorio es que OpenAI aparentemente tiene capacidades de detección de víctimas masivas pero no conectó esas alertas con intervención a nivel de usuario. Esto revela una desconexión fundamental entre teatro de seguridad y protección real del usuario. La empresa puede detectar cuando alguien podría estar planeando violencia pero no puede o no detendrá su uso continuo de la plataforma.
Para desarrolladores construyendo aplicaciones de IA, este caso es una llamada de atención sobre monitoreo de seguridad a nivel de usuario. Los filtros de contenido no son suficientes—necesitas sistemas que rastreen patrones de comportamiento dañino a través de sesiones y usuarios. El precedente legal aquí podría forzar a todas las empresas de IA a implementar sistemas de monitoreo de usuarios, no solo filtrado de contenido. Eso significa requerimientos de cumplimiento más complejos y potencialmente cambios de infraestructura significativos para cualquiera ejecutando productos de IA orientados al usuario.