一名跟踪骚扰受害者正在起诉OpenAI，指控该公司无视了三次关于一名用户使用ChatGPT对其前女友进行骚扰活动的单独警告。根据诉讼，OpenAI自己的系统已将该用户标记为潜在大规模伤亡风险，但公司没有采取任何行动阻止持续的滥用行为。据报告，受害者直接联系了OpenAI举报这一危险行为，但她的警告被忽视了。

这个案例暴露了AI安全基础设施中的一个关键缺口，这超出了内容审核的范围。虽然像OpenAI这样的公司大量投资于防止模型生成有害内容，但他们几乎没有建立任何系统来识别和阻止将AI工具武器化进行持续骚扰的用户。诉讼表明OpenAI有多次干预机会——包括来自其自身安全系统的自动标记——但选择不采取行动。

特别具有谴责性的是，OpenAI显然具有大规模伤亡检测能力，但没有将这些标记与用户级干预联系起来。这揭示了安全表演与实际用户保护之间的根本脱节。该公司可以检测到某人可能正在计划暴力行为，但不能或不会阻止他们继续使用平台。

对于构建AI应用程序的开发者来说，这个案例是关于用户级安全监控的警钟。内容过滤器是不够的——你需要跨会话和用户跟踪有害行为模式的系统。这里的法律先例可能会迫使所有AI公司实施用户监控系统，而不仅仅是内容筛查。这意味着更复杂的合规要求，对于任何运行面向用户的AI产品的人来说，可能需要重大的基础设施变更。