跳到主要內容
Zubnet AI › 學習 › Wiki › 偏差-變異數權衡
基礎

偏差-變異數權衡

別名:Bias-Variance Tradeoff、偏差-變異數困境
在過於簡單、抓不住規律的模型(偏差)和過於靈活、連雜訊都去擬合的模型(變異數)之間取得平衡。

為什麼重要

偏差-變異數權衡是大多數實際訓練決策背後的心智模型:用多大的模型、加多強的正則化、訓練多久、更多資料有沒有用。如果模型偏差高,加資料解決不了,加容量才行。如果變異數高,更多資料、正則化或更簡單的模型會有幫助。

它也解釋了集成方法為什麼有效。把許多高變異數的模型取平均(隨機森林就是這麼做的),可以抵消各自的大部分雜訊,同時保留它們的低偏差。

深度解析

任何預測誤差都可以拆成三部分。偏差是錯誤假設帶來的誤差:模型太死板,表達不了真實的規律,就像用直線去擬合曲線。變異數是對具體訓練資料過於敏感帶來的誤差:換一份略有不同的樣本來訓練,預測結果就大不相同。不可約雜訊是資料本身的隨機性,任何模型都消除不了。

所謂權衡,是指在經典機器學習裡,降低其中一個往往會抬高另一個。簡單模型偏差高、變異數低(欠擬合)。複雜模型偏差低、變異數高(過擬合)。目標是找到兩者之間的最佳點。

注意,這裡的「偏差」是統計學術語,和 AI 中的社會或倫理偏見無關,後者在本維基的「偏見」詞條裡單獨介紹。

用飛鏢靶來理解

想像你在扔飛鏢。低偏差、低變異數:緊緊聚在靶心。高偏差、低變異數:聚得很緊,但偏在一邊,也就是每次都錯得一樣。低偏差、高變異數:平均起來在中心,但散得到處都是。高偏差、高變異數:既分散又偏離中心。訓練模型就像調整出手動作,每個選擇都會讓你在這幾種情況之間移動。

實踐中如何診斷

  • 高偏差(欠擬合):訓練誤差高,驗證誤差也差不多高。
  • 高變異數(過擬合):訓練誤差低,驗證誤差卻高出許多。

交叉驗證在這裡很有用:如果各折之間的分數波動很大,說明變異數是個問題。

深度學習改寫了規則

現代神經網路讓這個經典故事變得複雜。研究者發現了雙重下降:模型不斷變大,越過能夠記住訓練資料的那個點之後,測試誤差先變差,然後又重新改善。非常大、嚴重過參數化的網路雖然有足夠的容量記住一切,卻常常泛化得很好。部分原因在於隱式正則化:在眾多能擬合資料的解裡,梯度下降訓練傾向於找到簡單的那些。

這就是 LLM 的縮放定律看起來和教科書上的 U 形曲線如此不同的原因。對於在海量且很少重複的資料上訓練的大模型來說,通常越大越好,主要風險是訓練不足(偏差),而不是過擬合。

經典權衡仍然起作用的地方

資料少的時候,教科書上的權衡依然非常現實:表格資料問題、用幾百個樣本做微調,或者小眾的分類器。在這些場景裡,更小的模型、強正則化或者一個簡單的基線,常常勝過大網路。在換更大的模型之前,一定要先和基線比一比。

← 所有術語
ESC