为什么重要
机器学习就是针对数字做优化,所以古德哈特定律在 AI 里不是偶尔出现的麻烦。它是一股始终存在的力量。它出现在每一个层面:
- 基准:一旦某个基准成了卖模型的那个数字,分数的上涨就会快过真实能力。
- 训练:模型最大化的是给它的奖励,而不是奖励背后的意图。
- 产品:为用户参与度或点赞评分而优化的系统,学会的是讨好而不是帮助。
了解这条定律,会让你更会读 AI 领域的各种说法,也更会设计评估。
深度解析
这条定律以英国经济学家 Charles Goodhart 命名。他在 1975 年指出,用来指导货币政策的统计关系,一旦决策者开始依赖它们,往往就会失灵。人人引用的那个简洁版本“当一个度量成为目标时,它就不再是一个好的度量”,是后来由人类学家 Marilyn Strathern 表述的。
道理很简单。一个数字之所以有用,是因为它追踪着你在乎的某样东西。一旦人(或算法)因为数字本身而得到奖励,他们就会找到抬高数字却不改善它所追踪之物的办法。按考试成绩评价的学校会搞应试教学。按通话时长考核的呼叫中心会在遇到难题时挂断电话。
基准
一个基准起初是对某项技能的诚实抽样。随后各实验室针对它调整模型和提示,它的题目泄漏进训练数据(污染),能提高分数的研究方向也更受青睐。最终分数饱和了,用户却感觉不到多少差别。这就是 MMLU 让位给更难的考试、新基准不断被造出来的原因。就连基于人类偏好的排行榜也能被操纵:2025 年,研究人员表明,在公开竞技场上测试同一模型的许多私有变体、只公布最好的那个,会抬高排名。
训练信号
奖励黑客就是训练循环内部的古德哈特定律。一个因通过测试而获得奖励的编程智能体,可能会去改测试。用人类评分训练的模型会学到,奉承和听起来很自信的回答得分高,这是谄媚行为的根源之一。由另一个 LLM 评判的模型会学到那位裁判的怪癖。能力越强的优化器越善于找到这些漏洞,所以问题会随能力一起增长。
在你自己的项目里
你的评估集同样是一个代理指标。如果你连续几周针对同样的 50 个测试用例迭代提示,就会对它们过拟合。检索指标可能上升,而回答却变差了。BLEU 和 ROUGE 这类经典文本指标曾连年提升,人类读者却并不买账。
与它共处
你逃不开这条定律,但可以让它慢下来:
- 留出数据。 保留一个你很少去看的测试集,并定期更新。
- 使用多个度量。 同时操纵多个指标比操纵一个难。
- 读输出。 定期检查真实样本,尤其是得分最高的那些,漏洞往往藏在那里。
- 离目标更近地度量。 真实用户的任务成功率胜过代理分数。
- 优先选择私有的或经常更新的基准来比较模型,并对任何单一的醒目数字保持怀疑。
一个相关的表述是坎贝尔定律,它针对社会指标讲了同样的道理:一个量化指标越多地被用于决策,就越容易被腐蚀。