OpenAI周二发布了一篇标题为「我们对社区安全的承诺」的博客文章,向读者介绍公司所称的针对「群体枪击、对公职人员的威胁、爆炸图谋,以及对社群和个人的攻击」所扩展的安全措施。文本的口吻是前瞻的——ChatGPT正被训练「识别假设性暴力与即将发生的暴力之间的差异」,计划「在对话开始转向威胁、对他人潜在伤害或现实世界规划时划出红线」,并「在适当时候浮出现实世界的支持并转介给执法部门」。这种框架暗示公司是在抢先应对仍属理论性的关切。Futurism的报道补上了博客没有讲的部分:多家新闻机构(包括Futurism)正在向公司询问对七起新诉讼的回应——这些诉讼来自二月份不列颠哥伦比亚省Tumbler Ridge校园血案的受害者家属,而这些诉讼将在博客上线的次日公开。
Tumbler Ridge的时间线才是承重的细节。枪手是ChatGPT用户。在2025年6月——也就是袭击发生的八个月之前——OpenAI的自动化审核工具就已经把该账号标记为含有图形枪支暴力描述。《华尔街日报》此前报道,人工审核员对其内容警觉到一定程度,以至于多人向OpenAI领导层施压、要求向当地官员发出警示。领导层选择不这样做,转而停用了那个具体账号。OpenAI后来承认,枪手只是又开了一个新账号继续使用服务——Futurism指出,OpenAI自家的客服在用户被停用后,据报道还会鼓励用户这样做。大约八个月后,枪手在家中先杀害了自己的母亲和继弟,然后带着一把改装步枪冲进Tumbler Ridge中学,杀害五名学生和一名教师,二十多人受伤。受害者家属的七起诉讼正在被提起。
这里被记录下来的结构性失败,并不是审核管线漏掉了信号——它抓到了。失败发生在「检测」与「执行」之间的缺口上。停用一个账号是内容政策行为;通知执法机关是公共安全行为;两者在类别上根本不同,而本案说明,当自家人工审核员要求第二种行动时,OpenAI默认走向了第一种。客服在停用之后引导用户去开新账号,使「账号级执行」实质上变成了自愿性的。周二那篇博客以前瞻的语气处理这个问题(「我们将致力于浮出现实世界的支持,并在适当时候转介执法部门」),却没有点名"在那个具体案例里,这件事正是被内部提出来过却被否决的"。这就是时间安排上的决定:在原告提交的诉讼变成公开材料的前一天,发布一份面向未来的承诺,从而让那篇博客起到「预先框定语境」的作用,而不是对那次具体失败的回应。这套打法是否能让监管者或陪审团满意,是另一个问题。
对builder而言,有三点收获。第一,内容审核的管线架构里,有一组承重的区分:检测系统(便宜、可扩展)与执行决策(涉及人、法律暴露、运营成本)。大多数AI公司的审核栈都在第一项重投资,把第二项当作下游行政任务;Tumbler Ridge案展示了这种不对称为何危险。如果你做的产品允许用户描述有计划的伤害,你的「执行决策」权力必须在运营上与「客户留存激励」分开——很可能不能放在同一个团队手里。第二,「停用后用户开新账号」这种失败模式在消费级AI产品里是通病。如果你的审核策略假设账号级停用就是执行,那你出货的就是OpenAI刚被起诉的同一种架构。身份验证(KYC)是更难的一层,大多数公司不愿做,因为它会杀注册转化率;但法律账本正在变化。第三,企业「安全」公告与法律事件之间的时间安排,是一个值得读取的信号。当一家AI公司在原告诉讼即将公开的前一天,发布一份面向未来的安全承诺贴文,这篇贴文做的是「证据开示前的语境框定」工作,而不主要是产品沟通。请相应地读它——并且当你身处其中的某个会议室时,用同样的眼光读你自己公司的安全公告。