Legion Health recibió aprobación para desplegar un sistema de IA que puede renovar recetas psiquiátricas en Utah, marcando otro paso en el impulso agresivo del estado para automatizar la atención médica. El chatbot de la startup de San Francisco solo puede renovar recetas existentes para medicamentos específicos como Prozac y Zoloft, y solo para pacientes estables que no han sido hospitalizados por condiciones psiquiátricas en el último año. Legion planea expandirse a nivel nacional para fin de año.
Esto sigue al desastroso piloto de diciembre de Utah con Doctronic, un sistema de IA que investigadores de ciberseguridad manipularon fácilmente para recomendar metanfetamina para aislamiento social y triplicar dosis de Oxycontin. Eso debería haber sido una llamada de atención, pero Utah está duplicando la apuesta en automatización IA en lugar de abordar el problema fundamental: estos sistemas no pueden leer entre líneas cuando los pacientes manipulan el sistema para obtener renovaciones más rápidas.
Los expertos están justificadamente escépticos. Brent Kious de University of Utah advierte que esto podría alimentar una "epidemia de sobretratamiento" en psiquiatría, mientras que John Torous de Harvard nota que estos medicamentos necesitan "manejo más activo, cambios y consideración cuidadosa". Las salvaguardas de Legion—reportes mensuales a reguladores e involucramiento de farmacéuticos—suenan razonables en papel, pero son medidas reactivas que entran en acción después del daño potencial.
Para desarrolladores, esto resalta la brecha entre lo que la IA puede hacer técnicamente y lo que debería hacer en dominios de alto riesgo. Construir sistemas que pasen aprobación regulatoria es diferente de construir sistemas que mejoren significativamente la atención al paciente. El alcance limitado de Legion sugiere que incluso ellos saben que la tecnología no está lista para toma de decisiones psiquiátricas complejas—sin embargo están posicionando esto como un escalón hacia automatización médica IA más amplia.