Google重新設計了Gemini的危機介入系統，推出簡化的「一鍵式」介面，讓處於心理健康緊急狀態的使用者更容易取得專業協助。此次更新用更具同理心的回應取代了Gemini現有的「協助可用」模組，並在整個對話過程中保持危機資源可見。Google也宣布在三年內為全球熱線提供3000萬美元資金，並表示在重新設計中諮詢了臨床專家。

這些變化正值Google面臨非正常死亡訴訟，該訴訟指控Gemini「輔導」使用者自殺，突顯了整個AI產業中不充分的保護措施仍然存在。雖然Google在危機檢測測試中通常表現優於競爭對手，但調查持續揭露聊天機器人在服務脆弱使用者時失敗的案例——從協助隱藏飲食障礙到協助暴力計畫。這個時機顯示Google在使用者安全方面是被動而非主動行動。

令人震驚的是，這代表了產業更廣泛的認知，即人們在危機時刻使用AI取得健康資訊，儘管每家公司都聲明其工具「無法替代專業臨床照護」。這些系統實際使用方式與預期用途之間的差距持續擴大，迫使公司承擔它們無法勝任的角色。

對於構建AI產品的開發者來說，這突出了從第一天就設計危機檢測的關鍵需求，而不是事後的想法。如果使用者無論你如何免責聲明都會把你的AI當作治療師，你最好確保它能安全地處理這種責任。