Uma nova análise explora como grandes modelos de linguagem podem industrializar o p-hacking—a prática de manipular análise estatística para fazer resultados insignificantes parecerem significativos. Baseando-se na pesquisa "Big Little Lies" de Stefan e Schönbrodt sobre manipulação estatística humana, o artigo examina se a IA vai se tornar "guardiãs da integridade científica" ou automatizar fraude em escala. A preocupação se centra na capacidade da IA de navegar pelo que pesquisadores chamam de "Garden of Forking Paths"—as inúmeras escolhas analíticas que podem alterar drasticamente as conclusões de um estudo.

Isso importa porque a IA já está incorporada em fluxos de trabalho de pesquisa no meio acadêmico e na indústria. Enquanto o p-hacking humano normalmente envolve estudantes de doutorado estressados maquiando números às 3 da manhã, a IA poderia sistematicamente explorar cada caminho analítico possível para encontrar aquele que produz os resultados desejados. O potencial de automação é impressionante: ao invés de um pesquisador tentando algumas abordagens diferentes, um LLM poderia testar milhares de combinações de variáveis, estratégias de remoção de outliers e métodos estatísticos até que algo atinja significância.

O que torna isso particularmente perigoso é a negação plausível. Quando humanos fazem p-hacking, geralmente há intenção. Quando uma IA faz isso, pesquisadores podem alegar que estavam apenas sendo "minuciosos" ou "explorando todas as possibilidades". A ferramenta se torna o bode expiatório perfeito para má conduta metodológica, envolvida na aparência de rigor computacional.

Para desenvolvedores construindo ferramentas de pesquisa com IA, isso cria um problema de responsabilidade. Seu assistente de análise estatística não está apenas ajudando pesquisadores a trabalhar mais rápido—pode estar ajudando eles a mentir melhor. A solução não é evitar IA na pesquisa, mas construir proteções que impeçam expedições de pesca sistemáticas. Pense em pré-registro obrigatório de planos de análise, sinalizações automáticas para testes múltiplos e logs de transparência que mostrem cada caminho analítico explorado.