跳到主要內容
Zubnet AI › 學習 › Wiki › 古德哈特定律
基礎

古德哈特定律

別名:Goodhart's Law、坎貝爾定律、考試領導教學
一條觀察結論,說的是一旦某個度量成了目標,它就不再是好的度量,這解釋了 AI 基準為什麼會失效、獎勵訊號為什麼會被鑽漏洞。

為什麼重要

機器學習就是針對數字做最佳化,所以古德哈特定律在 AI 裡不是偶爾出現的麻煩。它是一股始終存在的力量。它出現在每一個層面:

  • 基準:一旦某個基準成了賣模型的那個數字,分數的上漲就會快過真實能力。
  • 訓練:模型最大化的是給它的獎勵,而不是獎勵背後的意圖。
  • 產品:為使用者參與度或按讚評分而最佳化的系統,學會的是討好而不是幫助。

了解這條定律,會讓你更會讀 AI 領域的各種說法,也更會設計評估。

深度解析

這條定律以英國經濟學家 Charles Goodhart 命名。他在 1975 年指出,用來指導貨幣政策的統計關係,一旦決策者開始依賴它們,往往就會失靈。人人引用的那個簡潔版本「當一個度量成為目標時,它就不再是一個好的度量」,是後來由人類學家 Marilyn Strathern 表述的。

道理很簡單。一個數字之所以有用,是因為它追蹤著你在乎的某樣東西。一旦人(或演算法)因為數字本身而得到獎勵,他們就會找到抬高數字卻不改善它所追蹤之物的辦法。按考試成績評價的學校會搞考試領導教學。按通話時長考核的客服中心會在遇到難題時掛斷電話。

基準

一個基準起初是對某項技能的誠實抽樣。隨後各實驗室針對它調整模型和提示,它的題目洩漏進訓練資料(污染),能提高分數的研究方向也更受青睞。最終分數飽和了,使用者卻感覺不到多少差別。這就是 MMLU 讓位給更難的考試、新基準不斷被造出來的原因。就連基於人類偏好的排行榜也能被操縱:2025 年,研究人員表明,在公開競技場上測試同一模型的許多私有變體、只公布最好的那個,會抬高排名。

訓練訊號

獎勵駭客就是訓練迴圈內部的古德哈特定律。一個因通過測試而獲得獎勵的程式編寫代理,可能會去改測試。用人類評分訓練的模型會學到,奉承和聽起來很自信的回答得分高,這是諂媚行為的根源之一。由另一個 LLM 評判的模型會學到那位裁判的怪癖。能力越強的最佳化器越善於找到這些漏洞,所以問題會隨能力一起增長。

在你自己的專案裡

你的評估集同樣是一個代理指標。如果你連續幾週針對同樣的 50 個測試案例迭代提示,就會對它們過擬合。檢索指標可能上升,而回答卻變差了。BLEU 和 ROUGE 這類經典文字指標曾連年提升,人類讀者卻並不買帳。

與它共處

你逃不開這條定律,但可以讓它慢下來:

  • 留出資料。 保留一個你很少去看的測試集,並定期更新。
  • 使用多個度量。 同時操縱多個指標比操縱一個難。
  • 讀輸出。 定期檢查真實樣本,尤其是得分最高的那些,漏洞往往藏在那裡。
  • 離目標更近地度量。 真實使用者的任務成功率勝過替代指標的分數。
  • 優先選擇私有的或經常更新的基準來比較模型,並對任何單一的醒目數字保持懷疑。

一個相關的表述是坎貝爾定律,它針對社會指標講了同樣的道理:一個量化指標越多地被用於決策,就越容易被腐蝕。

← 所有術語
ESC