Une victime de harcèlement poursuit OpenAI, alléguant que l'entreprise a ignoré trois avertissements distincts concernant un utilisateur qui utilisait ChatGPT pour alimenter des campagnes de harcèlement contre son ex-copine. Selon la poursuite, les propres systèmes d'OpenAI ont signalé l'utilisateur pour un risque potentiel de victimes massives, pourtant l'entreprise n'a pris aucune mesure pour prévenir la continuation des abus. La victime aurait contacté OpenAI directement concernant le comportement dangereux, mais ses avertissements ont été ignorés.
Ce cas expose une lacune critique dans l'infrastructure de sécurité de l'IA qui va au-delà de la modération de contenu. Alors que des entreprises comme OpenAI investissent massivement pour empêcher les modèles de générer du contenu nuisible, elles ont construit virtuellement aucun système pour identifier et arrêter les utilisateurs qui transforment les outils d'IA en armes pour du harcèlement soutenu. La poursuite suggère qu'OpenAI avait plusieurs opportunités d'intervenir—incluant des signalements automatisés de leurs propres systèmes de sécurité—mais a choisi de ne pas agir.
Ce qui est particulièrement accablant, c'est qu'OpenAI a apparemment des capacités de détection de victimes massives mais n'a pas connecté ces signalements à une intervention au niveau de l'utilisateur. Cela révèle une déconnexion fondamentale entre le théâtre de sécurité et la protection réelle des utilisateurs. L'entreprise peut détecter quand quelqu'un pourrait planifier de la violence mais ne peut pas ou ne veut pas l'empêcher de continuer à utiliser la plateforme.
Pour les développeurs qui construisent des applications d'IA, ce cas est un signal d'alarme concernant la surveillance de sécurité au niveau de l'utilisateur. Les filtres de contenu ne suffisent pas—vous avez besoin de systèmes qui suivent les patterns de comportement nuisible à travers les sessions et les utilisateurs. Le précédent légal ici pourrait forcer toutes les entreprises d'IA à implémenter des systèmes de surveillance d'utilisateurs, pas seulement du filtrage de contenu. Cela signifie des exigences de conformité plus complexes et potentiellement des changements d'infrastructure significatifs pour quiconque opère des produits d'IA orientés utilisateur.