為什麼重要
這篇文章可能是現代 AI 領域被引用最多的非正式文章,它塑造了各大實驗室的思考方式。大型語言模型背後的賭注就是苦澀教訓的實際應用:採用一個簡單通用的架構,給它海量的資料和算力,不去手工編寫語言規則。當人們說一個想法是不是「bitter-lesson-pilled」時,他們問的是:它會不會被下一輪規模擴展沖走。
對開發者來說,它帶來一個實用的警告:為模型當前弱點設計的巧妙變通方案,往往在下一代模型到來時就過時了。
深度解析
《苦澀的教訓》(The Bitter Lesson)是 Rich Sutton 在 2019 年 3 月發表的一篇短文。他是強化學習的奠基人之一,後來獲得了圖靈獎。回顧 70 年的 AI 研究,他看到同一個故事在反覆上演。研究者總想把自己對問題的理解內建到系統裡:西洋棋的策略、語法規則、如何偵測影像中的邊緣。這在開始時有幫助。隨後,一種更簡單、更通用的方法,僅僅靠搜尋和學習來利用更多算力,就超過了它,並且還在不斷進步。
這個教訓之所以苦澀,是因為它意味著研究者最引以為傲的知識,從長遠看往往並不重要。
Sutton 舉的例子
- 西洋棋:1997 年,深藍主要靠大規模搜尋擊敗了 Garry Kasparov,這讓那些試圖把人類棋理編碼進程式的研究者大為沮喪。
- 圍棋:手工設計的方法停滯了幾十年。AlphaGo 把搜尋和學習結合起來,之後 AlphaZero 完全拋棄了人類棋譜,反而變得更強。
- 語音辨識:建立在語言學家音素知識之上的系統輸給了統計方法,後來又輸給了深度學習。
- 電腦視覺:手工設計的特徵偵測器被能自己學習特徵的卷積網路取代。
它沒有說什麼
這篇文章常被簡化成「加算力就行」。Sutton 的實際主張要窄一些:應當偏向那些在算力變得更充裕時能夠用上更多算力的方法。結構仍然重要。Transformer 本身就是人類的設計,只不過是一種擴展性很好的通用設計。資料也不是免費的:學習需要有東西可學,而對很多問題來說,收集到合適的資料才是難點。
把它用在基於 LLM 的開發上
精心設計的提示鏈、為修復模型輸出而手寫的解析器、僵硬的多步驟管線,常常會被對一個更好模型的單次呼叫取代。許多建構代理的團隊都提到同一個規律:每一代新模型都能讓他們刪掉一些鷹架。一個有用的習慣是,對任何變通方案都問一句:「更強的模型會不會讓它變得多餘?」如果會,就讓它保持廉價、容易拆除,把精力投到能長久留存的東西上:你的資料、你的評估和你的工具。
批評,以及 Sutton 自己的轉折
批評者指出,算力成本高昂;在資料稀缺的領域(比如機器人或醫學),效率和好的先驗很重要;而且最大的進步往往來自規模與新想法的結合。Sutton 本人也認為,今天的 LLM 並沒有完全遵循他的教訓,因為它們是從人類寫的文字中學習,而不是從自己對世界的經驗中學習。在他看來,真正可擴展的路線,仍然是透過行動和觀察持續學習的系統。