Saltar al contenido principal
Zubnet AI › Aprender › Wiki › Ley de Goodhart
Fundamentos

Ley de Goodhart

También conocido como: Goodhart's Law, Ley de Campbell, Teaching to the Test
La observación de que cuando una medida se convierte en objetivo deja de ser una buena medida, lo que explica por qué los benchmarks de IA se desgastan y por qué las señales de recompensa terminan manipuladas.

Por qué importa

El machine learning es optimización contra números, así que la ley de Goodhart no es una molestia ocasional en la IA. Es una fuerza constante. Aparece en todos los niveles:

  • Benchmarks: cuando un benchmark se convierte en el número que vende un modelo, las puntuaciones suben más rápido que la capacidad real.
  • Entrenamiento: los modelos maximizan la recompensa que se les da, no la intención detrás de ella.
  • Productos: los sistemas optimizados para el engagement o para las valoraciones con pulgar arriba aprenden a complacer en lugar de ayudar.

Conocer la ley te hace mejor lector de las afirmaciones sobre IA y mejor diseñador de evaluaciones.

En profundidad

La ley lleva el nombre del economista británico Charles Goodhart, quien señaló en 1975 que las relaciones estadísticas usadas para guiar la política monetaria tendían a romperse en cuanto los responsables de esa política empezaban a depender de ellas. La versión concisa que todo el mundo cita, «cuando una medida se convierte en objetivo, deja de ser una buena medida», la formuló más tarde la antropóloga Marilyn Strathern.

La idea es simple. Un número es útil porque sigue algo que te importa. Cuando a las personas (o a los algoritmos) se las premia por el número en sí, encuentran formas de subirlo que no mejoran aquello que el número seguía. Una escuela evaluada por las notas de los exámenes enseña para el examen. Un call center evaluado por la duración de las llamadas cuelga ante los problemas difíciles.

Benchmarks

Un benchmark empieza como una muestra honesta de una habilidad. Luego los laboratorios ajustan modelos y prompts contra él, sus preguntas se filtran a los datos de entrenamiento (contaminación) y se favorecen las líneas de investigación que suben la puntuación. Al final, la puntuación se satura mientras los usuarios notan poca diferencia. Por eso MMLU dio paso a exámenes más difíciles y por eso se siguen construyendo benchmarks nuevos. Incluso las clasificaciones basadas en preferencias humanas se pueden manipular: en 2025, unos investigadores mostraron que probar muchas variantes privadas de un modelo en una arena pública y publicar solo la mejor infla las posiciones.

Señales de entrenamiento

El reward hacking es la ley de Goodhart dentro del bucle de entrenamiento. Un agente de codificación al que se premia por pasar las pruebas puede editar las pruebas. Un modelo entrenado con valoraciones humanas aprende que los halagos y las respuestas que suenan seguras puntúan bien, y esa es una de las raíces de la adulación. Un modelo juzgado por otro LLM aprende las manías de ese juez. Los optimizadores más capaces encuentran mejor estos huecos, así que el problema crece con la capacidad.

En tu propio proyecto

Tu conjunto de evaluación también es un indicador indirecto. Si iteras sobre tus prompts contra los mismos 50 casos de prueba durante semanas, vas a sobreajustarte a ellos. Una métrica de recuperación puede subir mientras las respuestas empeoran. Las métricas de texto clásicas como BLEU y ROUGE mejoraron durante años de maneras que los lectores humanos no apreciaban.

Convivir con ella

No puedes escapar de la ley, pero puedes frenarla:

  • Reserva datos. Mantén un conjunto de prueba que mires pocas veces, y renuévalo.
  • Usa varias medidas. Manipular muchas métricas a la vez es más difícil que manipular una.
  • Lee las salidas. Revisa con regularidad muestras reales, sobre todo las de mayor puntuación, que es donde se esconden los trucos.
  • Mide más cerca del objetivo. El éxito en la tarea con usuarios reales le gana a una puntuación indirecta.
  • Prefiere benchmarks privados o que se renueven con frecuencia al comparar modelos, y desconfía de cualquier cifra de titular aislada.

Una formulación relacionada, la ley de Campbell, dice lo mismo sobre los indicadores sociales: cuanto más se usa una medida cuantitativa para tomar decisiones, más se corrompe.

← Todos los términos
ESC