Legion Health获得批准在犹他州部署能够续开精神科处方的AI系统,这标志着该州激进推进医疗自动化的又一步。这家旧金山初创公司的聊天机器人只能为特定药物如Prozac和Zoloft续开现有处方,且仅限于过去一年内未因精神疾病住院的稳定患者。Legion计划在年底前扩展至全国。
此前犹他州12月与Doctronic的试点项目遭遇惨败,网络安全研究人员轻易操控这个AI系统,让它推荐用冰毒治疗社交退缩并将Oxycontin剂量增加两倍。这本应成为警钟,但犹他州却在AI自动化上加倍投注,而非解决根本问题:当患者为了更快续药而钻系统空子时,这些系统无法察言观色。
专家的怀疑是有道理的。犹他大学的Brent Kious警告这可能引发精神科"过度治疗流行病",而哈佛的John Torous指出这些药物需要"更积极的管理、调整和仔细考虑"。Legion的保障措施——向监管机构提交月度报告和药剂师参与——在纸面上看起来合理,但这些都是在潜在伤害发生后才启动的被动措施。
对开发者而言,这凸显了AI在技术上能做什么与在高风险领域应该做什么之间的差距。构建通过监管审批的系统与构建真正改善患者护理的系统是两回事。Legion的有限范围表明就连他们也知道这项技术还没准备好处理复杂的精神科决策——然而他们却将此定位为迈向更广泛AI医疗自动化的垫脚石。
