一項新分析探討了大型語言模型如何可能將 p-hacking 工業化——即操縱統計分析使無意義結果看起來有意義的做法。基於 Stefan 和 Schönbrodt 關於人類統計操縱的「Big Little Lies」研究，文章探討了 AI 是否會成為「科學誠信守護者」或大規模自動化詐欺。擔憂集中在 AI 導航研究人員所稱的「Garden of Forking Paths」的能力上——無數分析選擇可能戲劇性地改變研究結論。

這很重要，因為 AI 已經嵌入到學術界和產業界的研究工作流程中。雖然人類 p-hacking 通常涉及壓力山大的博士生在凌晨 3 點竄改數字，但 AI 可能系統性地探索每一條可能的分析路徑，找到產生期望結果的那條。自動化潛力驚人：不再是一個研究者嘗試幾種不同方法，LLM 可以測試數千種變數組合、異常值去除策略和統計方法，直到某個達到顯著性。

特別危險的是合理否認。當人類進行 p-hacking 時，通常有意圖。當 AI 這樣做時，研究者可以聲稱他們只是「徹底」或「探索所有可能性」。工具成為方法論不當行為的完美代罪羔羊，包裝在計算嚴謹性的外衣下。

對於構建 AI 研究工具的開發者，這創造了責任問題。你的統計分析助手不僅幫助研究者更快工作——它可能幫助他們更好地說謊。解決方案不是在研究中避免 AI，而是構建防護措施防止系統性釣魚遠征。想想強制性分析計畫預註冊、多重測試的自動標記，以及顯示每條探索分析路徑的透明度日誌。