模型過於簡單或訓練不足,學不到資料中的規律,連訓練過的樣本都表現不好。
為什麼重要
分清欠擬合和過擬合,是機器學習裡最有用的診斷能力之一,因為兩者的解決辦法方向相反。過擬合需要更小的容量、更強的正則化或更多的資料。欠擬合需要更大的容量、更長的訓練或更弱的正則化。用錯了辦法,情況只會更糟。
在 LLM 時代,欠擬合更多指訓練不足,而不是模型太小。Chinchilla 的研究表明,當時很多大模型相對於自身規模,訓練用的 token 遠遠不夠。它們處於欠擬合狀態,反而被用更多資料訓練的小模型超過。如今,小模型常常被有意訓練到遠超「計算最佳」的程度,就是為了把最後一點欠擬合也擠掉。
深度解析
過擬合最受關注,但它的反面同樣常見。欠擬合的模型學得不夠:訓練損失居高不下,驗證損失也居高不下,兩者還很接近。這就像一個只把課本翻了一遍的學生,練習題做不好,考試也考不好,因為他從來沒有真正弄懂內容。
經典的例子是用一條直線去擬合明顯彎曲的資料。再多的資料也沒用,因為直線根本表達不了曲線。
如何辨識
看損失曲線:
- 欠擬合:訓練損失和驗證損失都高,並且接近,停止訓練時可能還在下降。
- 過擬合:訓練損失持續下降,驗證損失持平或上升,兩者差距拉大。
- 擬合良好:兩者都低,差距很小。
如果訓練損失本身就差,說明模型連見過的資料都擬合不了。這就是欠擬合,加資料解決不了。
常見原因
- 容量太小:參數或層數太少,撐不起任務的複雜度。
- 訓練太少:停得太早,或者學習率小到模型幾乎不動。
- 正則化太強:過重的 dropout 或 weight decay 會妨礙模型學到真正的規律。
- 特徵太弱或輸入有問題:如果解決任務所需的資訊不在輸入裡,任何模型都學不會。
- 有 bug:標籤被打亂、資料管線出錯、某一層被凍結,看起來都和欠擬合一模一樣。先檢查這些。
解決辦法
訓練更久、(謹慎地)調高學習率、換更大的模型、減弱正則化,或者改進輸入。在微調中,LoRA 的秩太小或訓練步數太少都會欠擬合:模型的行為幾乎沒有變化。可以先故意讓模型在一小部分資料上過擬合。如果它連 100 個樣本都記不住,說明你的設定裡有東西壞了。
微調中的欠擬合
人們說一次微調「沒起作用」,通常就是模型在新任務上欠擬合了。表現包括輸出不遵守目標格式,或者聽起來還是原來的基礎模型。在想著加資料之前,先確認學習率和訓練輪數是否合理,以及損失是否只計算在你希望模型學會的那部分內容上。