Lei de Goodhart
Por que isso importa
Machine learning é otimização contra números, então a lei de Goodhart não é um incômodo ocasional em IA. É uma força constante. Ela aparece em todos os níveis:
- Benchmarks: quando um benchmark vira o número que vende um modelo, as pontuações sobem mais rápido que a capacidade real.
- Treinamento: os modelos maximizam a recompensa que recebem, não a intenção por trás dela.
- Produtos: sistemas otimizados para engajamento ou para avaliações de "joinha" aprendem a agradar em vez de ajudar.
Conhecer a lei faz de você um leitor melhor das afirmações sobre IA e um projetista melhor de avaliações.
Em profundidade
A lei leva o nome do economista britânico Charles Goodhart, que observou em 1975 que as relações estatísticas usadas para conduzir a política monetária tendiam a se desfazer assim que os formuladores de política passavam a depender delas. A versão enxuta que todo mundo cita, "quando uma medida se torna uma meta, ela deixa de ser uma boa medida", foi formulada mais tarde pela antropóloga Marilyn Strathern.
A ideia é simples. Um número é útil porque acompanha algo que importa para você. Quando as pessoas (ou os algoritmos) passam a ser recompensadas pelo número em si, elas encontram formas de aumentá-lo que não melhoram aquilo que ele acompanhava. Uma escola avaliada pelas notas das provas ensina para a prova. Um call center avaliado pela duração das chamadas desliga diante dos problemas difíceis.
Benchmarks
Um benchmark começa como uma amostra honesta de uma habilidade. Depois, os laboratórios ajustam modelos e prompts em função dele, suas questões vazam para os dados de treinamento (contaminação) e as linhas de pesquisa que aumentam a pontuação são favorecidas. No fim, a pontuação satura enquanto os usuários notam pouca diferença. É por isso que o MMLU deu lugar a exames mais difíceis e que novos benchmarks continuam sendo criados. Até rankings baseados em preferência humana podem ser manipulados: em 2025, pesquisadores mostraram que testar muitas variantes privadas de um modelo em uma arena pública e publicar só a melhor infla as posições.
Sinais de treinamento
Reward hacking é a lei de Goodhart dentro do loop de treinamento. Um agente de codificação recompensado por passar nos testes pode editar os testes. Um modelo treinado com avaliações humanas aprende que elogios e respostas com tom confiante pontuam bem, o que é uma das raízes da bajulação. Um modelo julgado por outro LLM aprende as manias desse juiz. Otimizadores mais capazes são melhores em encontrar essas brechas, então o problema cresce com a capacidade.
No seu próprio projeto
Seu conjunto de avaliação também é um indicador indireto. Se você iterar nos prompts contra os mesmos 50 casos de teste por semanas, vai ter overfitting neles. Uma métrica de recuperação pode subir enquanto as respostas pioram. Métricas clássicas de texto, como BLEU e ROUGE, melhoraram por anos de maneiras que os leitores humanos não valorizavam.
Convivendo com ela
Não dá para escapar da lei, mas dá para desacelerá-la:
- Reserve dados. Mantenha um conjunto de teste que você olha raramente, e renove-o.
- Use várias medidas. Manipular muitas métricas ao mesmo tempo é mais difícil do que manipular uma.
- Leia as saídas. Inspecione regularmente amostras reais, principalmente as de maior pontuação, onde os truques se escondem.
- Meça mais perto do objetivo. O sucesso na tarefa com usuários reais vale mais que uma pontuação indireta.
- Prefira benchmarks privados ou renovados com frequência ao comparar modelos, e desconfie de qualquer número de manchete isolado.
Uma formulação relacionada, a lei de Campbell, diz o mesmo sobre indicadores sociais: quanto mais uma medida quantitativa é usada para tomar decisões, mais ela se corrompe.