Une nouvelle analyse explore comment les grands modèles de langage pourraient industrialiser le p-hacking—la pratique de manipuler l'analyse statistique pour faire paraître significants des résultats insignifiants. S'appuyant sur la recherche « Big Little Lies » de Stefan et Schönbrodt sur la manipulation statistique humaine, l'article examine si l'IA deviendra « gardienne de l'intégrité scientifique » ou automatisera la fraude à grande échelle. L'inquiétude se concentre sur la capacité de l'IA à naviguer dans ce que les chercheurs appellent le « Garden of Forking Paths »—les innombrables choix analytiques qui peuvent dramatiquement altérer les conclusions d'une étude.
C'est important parce que l'IA est déjà intégrée dans les flux de travail de recherche à travers le milieu académique et l'industrie. Alors que le p-hacking humain implique typiquement des étudiants au doctorat stressés qui trafiquent les chiffres à 3h du matin, l'IA pourrait systématiquement explorer chaque voie analytique possible pour trouver celle qui produit les résultats désirés. Le potentiel d'automatisation est stupéfiant : au lieu d'un chercheur qui essaie quelques approches différentes, un LLM pourrait tester des milliers de combinaisons de variables, stratégies de suppression de valeurs aberrantes, et méthodes statistiques jusqu'à ce que quelque chose atteigne la significativité.
Ce qui rend cela particulièrement dangereux, c'est le déni plausible. Quand les humains font du p-hacking, il y a généralement une intention. Quand une IA le fait, les chercheurs peuvent prétendre qu'ils étaient juste « approfondis » ou « exploraient toutes les possibilités ». L'outil devient le bouc émissaire parfait pour la mauvaise conduite méthodologique, enveloppé dans un vernis de rigueur computationnelle.
Pour les développeurs qui construisent des outils de recherche IA, cela crée un problème de responsabilité. Votre assistant d'analyse statistique n'aide pas seulement les chercheurs à travailler plus vite—il pourrait les aider à mieux mentir. La solution n'est pas d'éviter l'IA dans la recherche, mais de construire des garde-fous qui empêchent les expéditions de pêche systématiques. Pensez à l'enregistrement préalable obligatoire des plans d'analyse, aux signalements automatisés pour les tests multiples, et aux journaux de transparence qui montrent chaque voie analytique explorée.