Un chercheur qui a étudié le déploiement d'IA dans des petites entreprises, des centres de santé et des organismes sans but lucratif aux États-Unis, au Royaume-Uni et en Asie dénonce la faille fondamentale dans notre façon d'évaluer les systèmes d'IA : ils sont testés en isolation mais utilisés par des équipes. L'écart est frappant—l'IA de radiologie approuvée par la FDA qui surpasse les radiologues experts sur les benchmarks ralentit encore le personnel hospitalier qui peine à interpréter les résultats selon leurs standards de rapport spécifiques et leurs exigences réglementaires.
Ce n'est pas juste un problème académique. Les organisations prennent des décisions de déploiement à coups de millions basées sur des scores de benchmark qui ont zéro valeur prédictive pour la performance en conditions réelles. On optimise pour les mauvaises métriques tout en ratant les risques systémiques qui n'émergent que quand l'IA interagit avec de vrais workflows humains sur des périodes prolongées. L'approche actuelle génère d'excellents titres mais de terribles résultats de déploiement.
La solution proposée—les benchmarks Human-AI, Context-Specific Evaluation (HAIC)—testerait les systèmes d'IA dans les environnements bordéliques et complexes où ils sont réellement utilisés. Au lieu de mesurer si l'IA bat les humains sur des tâches isolées, ces benchmarks évalueraient comment l'IA performe quand intégrée dans les équipes existantes et les processus organisationnels sur des horizons temporels plus longs.
Pour les développeurs et les créateurs d'IA, cette recherche souligne un écart critique dans notre façon de valider nos systèmes avant le déploiement. Si vous construisez des outils d'IA, considérez les tester avec de vrais utilisateurs dans leurs environnements de travail réels avant de revendiquer des gains de performance. Le score de 98% de précision ne veut rien dire si votre IA rend les équipes plus lentes, pas plus rapides.