Uma vítima de perseguição está processando a OpenAI, alegando que a empresa ignorou três alertas separados sobre um usuário que estava usando o ChatGPT para alimentar campanhas de assédio contra sua ex-namorada. De acordo com o processo, os próprios sistemas da OpenAI sinalizaram o usuário por risco potencial de vítimas em massa, ainda assim a empresa não tomou nenhuma ação para prevenir o abuso contínuo. A vítima supostamente contatou a OpenAI diretamente sobre o comportamento perigoso, mas seus alertas foram descartados.
Este caso expõe uma lacuna crítica na infraestrutura de segurança de IA que vai além da moderação de conteúdo. Enquanto empresas como a OpenAI investem pesadamente em prevenir que modelos gerem conteúdo prejudicial, elas construíram virtualmente nenhum sistema para identificar e parar usuários que transformam ferramentas de IA em armas para assédio sustentado. O processo sugere que a OpenAI teve múltiplas oportunidades de intervir—incluindo alertas automatizados de seus próprios sistemas de segurança—mas escolheu não agir.
O que é particularmente condenatório é que a OpenAI aparentemente tem capacidades de detecção de vítimas em massa mas não conectou esses alertas com intervenção a nível de usuário. Isso revela uma desconexão fundamental entre teatro de segurança e proteção real do usuário. A empresa pode detectar quando alguém pode estar planejando violência mas não pode ou não irá impedi-los de continuar usando a plataforma.
Para desenvolvedores construindo aplicações de IA, este caso é um alerta sobre monitoramento de segurança a nível de usuário. Filtros de conteúdo não são suficientes—você precisa de sistemas que rastreiem padrões de comportamento prejudicial através de sessões e usuários. O precedente legal aqui poderia forçar todas as empresas de IA a implementar sistemas de monitoramento de usuários, não apenas triagem de conteúdo. Isso significa requisitos de conformidade mais complexos e potencialmente mudanças significativas de infraestrutura para qualquer um executando produtos de IA voltados ao usuário.