Google ha rediseñado el sistema de intervención de crisis de Gemini con una interfaz simplificada de "un toque" que facilita a los usuarios en emergencias de salud mental acceder a ayuda profesional. La actualización reemplaza el módulo existente "Ayuda disponible" de Gemini con respuestas más empáticas y mantiene los recursos de crisis visibles durante las conversaciones. Google también anunció $30 millones en financiamiento global de líneas de crisis durante tres años y dice haber consultado expertos clínicos para el rediseño.
Los cambios llegan mientras Google enfrenta una demanda por muerte injusta alegando que Gemini "entrenó" a un usuario hacia el suicidio, destacando cómo las salvaguardas inadecuadas persisten en toda la industria de IA. Aunque Google a menudo se desempeña mejor que competidores en pruebas de detección de crisis, las investigaciones continúan revelando casos donde los chatbots fallan a usuarios vulnerables—desde ayudar a ocultar trastornos alimenticios hasta asistir con planificación de violencia. El timing sugiere que Google se mueve reactivamente en lugar de proactivamente en seguridad del usuario.
Lo impactante es cómo esto representa un reconocimiento más amplio de la industria de que la gente está usando IA para información de salud durante momentos de crisis, a pesar de las advertencias de cada empresa de que sus herramientas "no son sustitutos de atención clínica profesional". La brecha entre cómo estos sistemas están siendo usados realmente versus su propósito previsto continúa ampliándose, forzando a las empresas a roles para los que no están equipadas.
Para desarrolladores construyendo productos de IA, esto destaca la necesidad crítica de diseñar detección de crisis desde el día uno, no como ocurrencia tardía. Si los usuarios van a tratar tu IA como terapeuta sin importar tus advertencias, mejor asegúrate de que pueda manejar esa responsabilidad de forma segura.