Google a repensé le système d'intervention de crise de Gemini avec une interface « un clic » simplifiée qui facilite l'accès à l'aide professionnelle pour les utilisateurs en urgence de santé mentale. La mise à jour remplace le module existant « De l'aide est disponible » de Gemini par des réponses plus empathiques et garde les ressources de crise visibles tout au long des conversations. Google a aussi annoncé 30 millions de dollars en financement de lignes d'écoute mondiales sur trois ans et dit avoir consulté des experts cliniques pour la refonte.
Ces changements arrivent alors que Google fait face à une poursuite pour mort injustifiée alléguant que Gemini a « poussé » un utilisateur vers le suicide, soulignant à quel point les mesures de protection inadéquates persistent à travers l'industrie de l'IA. Bien que Google performe souvent mieux que ses compétiteurs dans les tests de détection de crise, les enquêtes continuent de révéler des cas où les chatbots échouent avec des utilisateurs vulnérables—de l'aide à cacher des troubles alimentaires à l'assistance dans la planification de violence. Le timing suggère que Google agit de façon réactive plutôt que proactive sur la sécurité des utilisateurs.
Ce qui frappe, c'est comment ça représente une reconnaissance plus large de l'industrie que les gens utilisent l'IA pour de l'information sur la santé pendant des moments de crise, malgré les avertissements de chaque compagnie que leurs outils « ne remplacent pas les soins cliniques professionnels ». L'écart entre comment ces systèmes sont réellement utilisés versus leur but prévu continue de s'élargir, forçant les compagnies dans des rôles pour lesquels elles ne sont pas équipées.
Pour les développeurs qui construisent des produits IA, ça souligne le besoin critique de concevoir la détection de crise dès le premier jour, pas comme une réflexion après coup. Si les utilisateurs vont traiter votre IA comme un thérapeute peu importe vos avertissements, vous feriez mieux de vous assurer qu'elle peut gérer cette responsabilité de façon sécuritaire.