為什麼重要
機器學習就是針對數字做最佳化,所以古德哈特定律在 AI 裡不是偶爾出現的麻煩。它是一股始終存在的力量。它出現在每一個層面:
- 基準:一旦某個基準成了賣模型的那個數字,分數的上漲就會快過真實能力。
- 訓練:模型最大化的是給它的獎勵,而不是獎勵背後的意圖。
- 產品:為使用者參與度或按讚評分而最佳化的系統,學會的是討好而不是幫助。
了解這條定律,會讓你更會讀 AI 領域的各種說法,也更會設計評估。
深度解析
這條定律以英國經濟學家 Charles Goodhart 命名。他在 1975 年指出,用來指導貨幣政策的統計關係,一旦決策者開始依賴它們,往往就會失靈。人人引用的那個簡潔版本「當一個度量成為目標時,它就不再是一個好的度量」,是後來由人類學家 Marilyn Strathern 表述的。
道理很簡單。一個數字之所以有用,是因為它追蹤著你在乎的某樣東西。一旦人(或演算法)因為數字本身而得到獎勵,他們就會找到抬高數字卻不改善它所追蹤之物的辦法。按考試成績評價的學校會搞考試領導教學。按通話時長考核的客服中心會在遇到難題時掛斷電話。
基準
一個基準起初是對某項技能的誠實抽樣。隨後各實驗室針對它調整模型和提示,它的題目洩漏進訓練資料(污染),能提高分數的研究方向也更受青睞。最終分數飽和了,使用者卻感覺不到多少差別。這就是 MMLU 讓位給更難的考試、新基準不斷被造出來的原因。就連基於人類偏好的排行榜也能被操縱:2025 年,研究人員表明,在公開競技場上測試同一模型的許多私有變體、只公布最好的那個,會抬高排名。
訓練訊號
獎勵駭客就是訓練迴圈內部的古德哈特定律。一個因通過測試而獲得獎勵的程式編寫代理,可能會去改測試。用人類評分訓練的模型會學到,奉承和聽起來很自信的回答得分高,這是諂媚行為的根源之一。由另一個 LLM 評判的模型會學到那位裁判的怪癖。能力越強的最佳化器越善於找到這些漏洞,所以問題會隨能力一起增長。
在你自己的專案裡
你的評估集同樣是一個代理指標。如果你連續幾週針對同樣的 50 個測試案例迭代提示,就會對它們過擬合。檢索指標可能上升,而回答卻變差了。BLEU 和 ROUGE 這類經典文字指標曾連年提升,人類讀者卻並不買帳。
與它共處
你逃不開這條定律,但可以讓它慢下來:
- 留出資料。 保留一個你很少去看的測試集,並定期更新。
- 使用多個度量。 同時操縱多個指標比操縱一個難。
- 讀輸出。 定期檢查真實樣本,尤其是得分最高的那些,漏洞往往藏在那裡。
- 離目標更近地度量。 真實使用者的任務成功率勝過替代指標的分數。
- 優先選擇私有的或經常更新的基準來比較模型,並對任何單一的醒目數字保持懷疑。
一個相關的表述是坎貝爾定律,它針對社會指標講了同樣的道理:一個量化指標越多地被用於決策,就越容易被腐蝕。