Aller au contenu principal
Zubnet AI › Apprendre › Wiki › Loi de Goodhart
Fondamentaux

Loi de Goodhart

Aussi appelé : Goodhart's Law, Loi de Campbell, Teaching to the Test
Le constat que lorsqu'une mesure devient un objectif, elle cesse d'être une bonne mesure, ce qui explique pourquoi les benchmarks d'IA s'usent et pourquoi les signaux de récompense sont contournés.

Pourquoi c'est important

L'apprentissage automatique consiste à optimiser des chiffres, si bien que la loi de Goodhart n'est pas une gêne occasionnelle en IA. C'est une force constante. Elle apparaît à tous les niveaux :

  • Benchmarks : dès qu'un benchmark devient le chiffre qui fait vendre un modèle, les scores montent plus vite que les capacités réelles.
  • Entraînement : les modèles maximisent la récompense qu'on leur donne, pas l'intention qui se cache derrière.
  • Produits : les systèmes optimisés pour l'engagement ou les pouces levés apprennent à plaire plutôt qu'à aider.

Connaître cette loi fait de vous un meilleur lecteur des annonces en IA et un meilleur concepteur d'évaluations.

En profondeur

La loi porte le nom de l'économiste britannique Charles Goodhart, qui a noté en 1975 que les relations statistiques utilisées pour piloter la politique monétaire avaient tendance à se dérégler dès que les décideurs commençaient à s'appuyer dessus. La version concise que tout le monde cite, « lorsqu'une mesure devient un objectif, elle cesse d'être une bonne mesure », a été formulée plus tard par l'anthropologue Marilyn Strathern.

L'idée est simple. Un chiffre est utile parce qu'il suit quelque chose qui vous importe. Dès que des personnes (ou des algorithmes) sont récompensées pour le chiffre lui-même, elles trouvent des moyens de le faire monter sans améliorer ce qu'il suivait. Une école jugée sur les notes aux examens enseigne pour l'examen. Un centre d'appels jugé sur la durée des appels raccroche dès qu'un problème est difficile.

Benchmarks

Un benchmark commence comme un échantillon honnête d'une compétence. Puis les laboratoires ajustent modèles et prompts en fonction de lui, ses questions fuitent dans les données d'entraînement (contamination), et les pistes de recherche qui font monter le score sont favorisées. Au bout du compte, le score sature alors que les utilisateurs remarquent peu de différence. C'est pourquoi MMLU a cédé la place à des examens plus difficiles et pourquoi on continue de construire de nouveaux benchmarks. Même les classements fondés sur les préférences humaines peuvent être manipulés : en 2025, des chercheurs ont montré que tester de nombreuses variantes privées d'un modèle sur une arène publique et ne publier que la meilleure gonfle les classements.

Signaux d'entraînement

Le détournement de récompense (reward hacking), c'est la loi de Goodhart à l'intérieur de la boucle d'entraînement. Un agent de codage récompensé quand les tests passent peut modifier les tests. Un modèle entraîné sur des notes humaines apprend que la flatterie et les réponses au ton assuré sont bien notées, ce qui est l'une des racines de la sycophantie. Un modèle jugé par un autre LLM apprend les manies de ce juge. Les optimiseurs plus capables trouvent mieux ces failles, si bien que le problème grandit avec les capacités.

Dans votre propre projet

Votre jeu d'évaluation est lui aussi un indicateur indirect. Si vous itérez sur vos prompts pendant des semaines avec les mêmes 50 cas de test, vous allez surapprendre ces cas. Une métrique de récupération peut monter pendant que les réponses se dégradent. Les métriques de texte classiques comme BLEU et ROUGE ont progressé pendant des années d'une manière que les lecteurs humains n'appréciaient pas.

Vivre avec

On ne peut pas échapper à la loi, mais on peut la ralentir :

  • Mettez des données de côté. Gardez un jeu de test que vous regardez rarement, et renouvelez-le.
  • Utilisez plusieurs mesures. Tricher sur plusieurs métriques à la fois est plus difficile que sur une seule.
  • Lisez les sorties. Inspectez régulièrement de vrais échantillons, surtout les mieux notés, là où se cachent les failles exploitées.
  • Mesurez au plus près de l'objectif. La réussite de la tâche avec de vrais utilisateurs vaut mieux qu'un score indirect.
  • Préférez les benchmarks privés ou fréquemment renouvelés pour comparer des modèles, et méfiez-vous de tout chiffre vedette isolé.

Une formulation voisine, la loi de Campbell, dit la même chose à propos des indicateurs sociaux : plus une mesure quantitative est utilisée pour prendre des décisions, plus elle se corrompt.

← Tous les termes
ESC