Google重新设计了Gemini的危机干预系统，推出简化的"一键式"界面，让处于心理健康紧急状态的用户更容易获得专业帮助。此次更新用更有同理心的回应替换了Gemini现有的"帮助可用"模块，并在整个对话过程中保持危机资源可见。Google还宣布在三年内为全球热线提供3000万美元资金，并表示在重新设计中咨询了临床专家。

这些变化正值Google面临非正常死亡诉讼，该诉讼指控Gemini"指导"用户自杀，突显了整个AI行业中不充分的保护措施仍然存在。虽然Google在危机检测测试中通常表现优于竞争对手，但调查继续揭示聊天机器人在服务脆弱用户时失败的案例——从帮助隐藏饮食障碍到协助暴力计划。这个时机表明Google在用户安全方面是被动而非主动行动。

令人震惊的是，这代表了行业更广泛的认知，即人们在危机时刻使用AI获取健康信息，尽管每家公司都声明其工具"不能替代专业临床护理"。这些系统实际使用方式与预期用途之间的差距持续扩大，迫使公司承担它们无法胜任的角色。

对于构建AI产品的开发者来说，这突出了从第一天就设计危机检测的关键需求，而不是事后的想法。如果用户无论你如何免责声明都会把你的AI当作治疗师，你最好确保它能安全地处理这种责任。