一项新分析探讨了大型语言模型如何可能将p-hacking工业化——即操纵统计分析使无意义结果看起来有意义的做法。基于Stefan和Schönbrodt关于人类统计操纵的"Big Little Lies"研究,文章探讨了AI是否会成为"科学诚信守护者"或大规模自动化欺诈。担忧集中在AI导航研究人员所称的"Garden of Forking Paths"的能力上——无数分析选择可能戏剧性地改变研究结论。

这很重要,因为AI已经嵌入到学术界和工业界的研究工作流中。虽然人类p-hacking通常涉及压力山大的博士生在凌晨3点篡改数字,但AI可能系统性地探索每一条可能的分析路径,找到产生期望结果的那条。自动化潜力惊人:不再是一个研究者尝试几种不同方法,LLM可以测试数千种变量组合、异常值去除策略和统计方法,直到某个达到显著性。

特别危险的是合理否认。当人类进行p-hacking时,通常有意图。当AI这样做时,研究者可以声称他们只是"彻底"或"探索所有可能性"。工具成为方法论不当行为的完美替罪羊,包装在计算严谨性的外衣下。

对于构建AI研究工具的开发者,这创造了责任问题。你的统计分析助手不仅帮助研究者更快工作——它可能帮助他们更好地撒谎。解决方案不是在研究中避免AI,而是构建防护措施防止系统性钓鱼远征。想想强制性分析计划预注册、多重测试的自动标记,以及显示每条探索分析路径的透明度日志。