A Legion Health recebeu aprovação para implementar um sistema de IA que pode renovar receitas psiquiátricas em Utah, marcando mais um passo no impulso agressivo do estado para automatizar cuidados de saúde. O chatbot da startup de San Francisco só pode renovar receitas existentes para medicamentos específicos como Prozac e Zoloft, e apenas para pacientes estáveis que não foram hospitalizados por condições psiquiátricas no último ano. A Legion planeja expandir nacionalmente até o final do ano.
Isso segue o desastroso projeto piloto de dezembro de Utah com Doctronic, um sistema de IA que pesquisadores de cibersegurança facilmente manipularam para recomendar metanfetamina para isolamento social e triplicar dosagens de Oxycontin. Isso deveria ter sido um alerta, mas Utah está dobrando a aposta na automação por IA ao invés de abordar o problema fundamental: esses sistemas não conseguem ler nas entrelinhas quando pacientes burlam o sistema para obter renovações mais rápidas.
Especialistas estão justificadamente céticos. Brent Kious da University of Utah alerta que isso pode alimentar uma "epidemia de tratamento excessivo" em psiquiatria, enquanto John Torous de Harvard nota que esses medicamentos precisam de "manejo mais ativo, mudanças e consideração cuidadosa". As salvaguardas da Legion—relatórios mensais para reguladores e envolvimento de farmacêuticos—soam razoáveis no papel, mas são medidas reativas que entram em ação após dano potencial.
Para desenvolvedores, isso destaca a lacuna entre o que a IA pode fazer tecnicamente e o que deveria fazer em domínios de alto risco. Construir sistemas que passam aprovação regulatória é diferente de construir sistemas que melhoram significativamente o cuidado do paciente. O escopo limitado da Legion sugere que até eles sabem que a tecnologia não está pronta para tomada de decisões psiquiátricas complexas—ainda assim estão posicionando isso como um trampolim para automação médica por IA mais ampla.