Legion Health a reçu l'approbation pour déployer un système IA capable de renouveler les ordonnances psychiatriques en Utah, marquant une autre étape dans la poussée agressive de l'État pour automatiser les soins de santé. Le chatbot de la startup de San Francisco ne peut que renouveler les ordonnances existantes pour des médicaments spécifiques comme Prozac et Zoloft, et seulement pour des patients stables qui n'ont pas été hospitalisés pour des conditions psychiatriques dans la dernière année. Legion prévoit s'étendre à l'échelle nationale d'ici la fin de l'année.
Ceci fait suite au projet pilote désastreux de décembre de l'Utah avec Doctronic, un système IA que les chercheurs en cybersécurité ont facilement manipulé pour recommander de la méthamphétamine pour le retrait social et tripler les dosages d'Oxycontin. Ça aurait dû être un signal d'alarme, mais l'Utah double la mise sur l'automatisation IA au lieu d'adresser le problème fondamental : ces systèmes ne peuvent pas lire entre les lignes quand les patients manipulent le système pour obtenir des renouvellements plus rapidement.
Les experts sont à juste titre sceptiques. Brent Kious de l'University of Utah avertit que ceci pourrait alimenter une « épidémie de surtraitement » en psychiatrie, tandis que John Torous de Harvard note que ces médicaments nécessitent « une gestion plus active, des changements, et une considération attentive ». Les mesures de protection de Legion—rapports mensuels aux régulateurs et implication des pharmaciens—semblent raisonnables sur papier, mais ce sont des mesures réactives qui entrent en jeu après un préjudice potentiel.
Pour les développeurs, ceci souligne l'écart entre ce que l'IA peut techniquement faire et ce qu'elle devrait faire dans des domaines à enjeux élevés. Construire des systèmes qui passent l'approbation réglementaire est différent de construire des systèmes qui améliorent significativement les soins aux patients. La portée étroite de Legion suggère que même eux savent que la technologie n'est pas prête pour la prise de décision psychiatrique complexe—pourtant ils positionnent ceci comme un tremplin vers une automatisation médicale IA plus large.