Legion Health獲得批准在猶他州部署能夠續開精神科處方的AI系統,這標誌著該州積極推動醫療自動化的又一步。這家舊金山新創公司的聊天機器人只能為特定藥物如Prozac和Zoloft續開現有處方,且僅限於過去一年內未因精神疾病住院的穩定患者。Legion計劃在年底前擴展至全國。
此前猶他州12月與Doctronic的試點專案遭遇慘敗,網路安全研究人員輕易操控這個AI系統,讓它推薦用安非他命治療社交退縮並將Oxycontin劑量增加兩倍。這本應成為警鐘,但猶他州卻在AI自動化上加倍投注,而非解決根本問題:當患者為了更快續藥而鑽系統漏洞時,這些系統無法察言觀色。
專家的懷疑是有道理的。猶他大學的Brent Kious警告這可能引發精神科「過度治療流行病」,而哈佛的John Torous指出這些藥物需要「更積極的管理、調整和仔細考量」。Legion的保障措施——向監管機構提交月度報告和藥師參與——在紙面上看起來合理,但這些都是在潛在傷害發生後才啟動的被動措施。
對開發者而言,這凸顯了AI在技術上能做什麼與在高風險領域應該做什麼之間的差距。建構通過監管審批的系統與建構真正改善患者照護的系統是兩回事。Legion的有限範圍表明就連他們也知道這項技術還沒準備好處理複雜的精神科決策——然而他們卻將此定位為邁向更廣泛AI醫療自動化的墊腳石。
