跳到主要內容
Zubnet AI › 學習 › Wiki › 苦澀的教訓
基礎

苦澀的教訓

別名:The Bitter Lesson、Bitter Lesson、Sutton 的苦澀教訓
Rich Sutton 在 2019 年提出的論點,即能隨算力擴展的通用方法,最終會勝過建立在人類專業知識之上的方法。

為什麼重要

這篇文章可能是現代 AI 領域被引用最多的非正式文章,它塑造了各大實驗室的思考方式。大型語言模型背後的賭注就是苦澀教訓的實際應用:採用一個簡單通用的架構,給它海量的資料和算力,不去手工編寫語言規則。當人們說一個想法是不是「bitter-lesson-pilled」時,他們問的是:它會不會被下一輪規模擴展沖走。

對開發者來說,它帶來一個實用的警告:為模型當前弱點設計的巧妙變通方案,往往在下一代模型到來時就過時了。

深度解析

《苦澀的教訓》(The Bitter Lesson)是 Rich Sutton 在 2019 年 3 月發表的一篇短文。他是強化學習的奠基人之一,後來獲得了圖靈獎。回顧 70 年的 AI 研究,他看到同一個故事在反覆上演。研究者總想把自己對問題的理解內建到系統裡:西洋棋的策略、語法規則、如何偵測影像中的邊緣。這在開始時有幫助。隨後,一種更簡單、更通用的方法,僅僅靠搜尋和學習來利用更多算力,就超過了它,並且還在不斷進步。

這個教訓之所以苦澀,是因為它意味著研究者最引以為傲的知識,從長遠看往往並不重要。

Sutton 舉的例子

  • 西洋棋:1997 年,深藍主要靠大規模搜尋擊敗了 Garry Kasparov,這讓那些試圖把人類棋理編碼進程式的研究者大為沮喪。
  • 圍棋:手工設計的方法停滯了幾十年。AlphaGo 把搜尋和學習結合起來,之後 AlphaZero 完全拋棄了人類棋譜,反而變得更強。
  • 語音辨識:建立在語言學家音素知識之上的系統輸給了統計方法,後來又輸給了深度學習。
  • 電腦視覺:手工設計的特徵偵測器被能自己學習特徵的卷積網路取代。

它沒有說什麼

這篇文章常被簡化成「加算力就行」。Sutton 的實際主張要窄一些:應當偏向那些在算力變得更充裕時能夠用上更多算力的方法。結構仍然重要。Transformer 本身就是人類的設計,只不過是一種擴展性很好的通用設計。資料也不是免費的:學習需要有東西可學,而對很多問題來說,收集到合適的資料才是難點。

把它用在基於 LLM 的開發上

精心設計的提示鏈、為修復模型輸出而手寫的解析器、僵硬的多步驟管線,常常會被對一個更好模型的單次呼叫取代。許多建構代理的團隊都提到同一個規律:每一代新模型都能讓他們刪掉一些鷹架。一個有用的習慣是,對任何變通方案都問一句:「更強的模型會不會讓它變得多餘?」如果會,就讓它保持廉價、容易拆除,把精力投到能長久留存的東西上:你的資料、你的評估和你的工具。

批評,以及 Sutton 自己的轉折

批評者指出,算力成本高昂;在資料稀缺的領域(比如機器人或醫學),效率和好的先驗很重要;而且最大的進步往往來自規模與新想法的結合。Sutton 本人也認為,今天的 LLM 並沒有完全遵循他的教訓,因為它們是從人類寫的文字中學習,而不是從自己對世界的經驗中學習。在他看來,真正可擴展的路線,仍然是透過行動和觀察持續學習的系統。

← 所有術語
ESC