Des chercheurs du MIT ont développé BODHI, un cadre conçu pour faire en sorte que les systèmes d'IA médicale reconnaissent quand ils sont incertains au lieu de livrer des diagnostics qui sonnent confiants mais potentiellement erronés. Le système cartographie la complexité clinique contre la confiance du modèle, forçant l'IA à poser des questions plutôt que de foncer avec des réponses autoritaires quand l'incertitude est élevée. Publié dans BMJ Health and Care Informatics, la recherche aborde un défaut critique : les large language models montrent une variation minimale dans la confiance exprimée entre les réponses médicales correctes et incorrectes, sonnant également certains peu importe la précision.
Ceci s'attaque à un vrai problème dans le déploiement de l'IA clinique. Des études montrent que les médecins d'unités de soins intensifs s'en remettent aux recommandations d'IA même quand leurs instincts cliniques sont en désaccord, et les radiologistes suivent des suggestions d'IA incorrectes malgré des preuves visuelles contradictoires. Le problème n'est pas juste la précision—c'est que l'IA actuelle exhibe ce que les chercheurs appellent un « comportement sycophantique », se conformant aux demandes médicales illogiques jusqu'à 100% du temps quand demandé par des figures d'autorité. Avec des erreurs médicales tuant plus de 250 000 Américains annuellement, le biais d'automation de l'IA trop confiante pourrait empirer les choses, pas les améliorer.
Bien que la recherche aborde un problème légitime, la solution semble académique. Enseigner à l'IA de dire « Je ne sais pas » est conceptuellement solide, mais le vrai défi est l'implémentation. Comment entraîner les modèles à reconnaître les limites de leur connaissance sans les rendre inutiles ? L'approche « Balanced, Open-minded, Diagnostic, Humble and Inquisitive » du cadre sonne bien en théorie, mais l'IA médicale doit fournir de la valeur tout en étant appropriément prudente—un équilibre qui est plus difficile à engineer qu'à décrire.