一名跟蹤騷擾受害者正在起訴OpenAI，指控該公司無視了三次關於一名用戶使用ChatGPT對其前女友進行騷擾活動的單獨警告。根據訴訟，OpenAI自己的系統已將該用戶標記為潛在大規模傷亡風險，但公司沒有採取任何行動阻止持續的濫用行為。據報告，受害者直接聯繫了OpenAI舉報這一危險行為，但她的警告被忽視了。

這個案例暴露了AI安全基礎設施中的一個關鍵缺口，這超出了內容審核的範圍。雖然像OpenAI這樣的公司大量投資於防止模型生成有害內容，但他們幾乎沒有建立任何系統來識別和阻止將AI工具武器化進行持續騷擾的用戶。訴訟表明OpenAI有多次干預機會——包括來自其自身安全系統的自動標記——但選擇不採取行動。

特別具有譴責性的是，OpenAI顯然具有大規模傷亡檢測能力，但沒有將這些標記與用戶級干預聯繫起來。這揭示了安全表演與實際用戶保護之間的根本脫節。該公司可以檢測到某人可能正在計劃暴力行為，但不能或不會阻止他們繼續使用平台。

對於構建AI應用程式的開發者來說，這個案例是關於用戶級安全監控的警鐘。內容過濾器是不夠的——你需要跨會話和用戶追蹤有害行為模式的系統。這裡的法律先例可能會迫使所有AI公司實施用戶監控系統，而不僅僅是內容篩查。這意味著更複雜的合規要求，對於任何運行面向用戶的AI產品的人來說，可能需要重大的基礎設施變更。