為什麼重要
正則化是對付過擬合的主要手段。沒有它,在中小規模資料集上訓練的深度網路往往會把訓練資料學得完美無缺,卻在其他資料上一敗塗地。幾乎所有訓練方案都用到某種形式的正則化。你在微調設定裡看到的 weight_decay、dropout、lora_dropout,全都是正則化。
它是旋鈕,不是開關。太弱,模型過擬合;太強,模型欠擬合。調節正則化強度是實踐中最常見的超參數工作之一。
深度解析
容量足夠大的模型可以把訓練集連同其中的雜訊和偶然特徵一起背下來。正則化是一個總稱,指我們為阻止這種情況、把模型推向更簡單更通用的解所做的一切。有些技術在損失裡加懲罰項,有些注入雜訊,有些限制訓練過程,還有些只是給模型更多樣的資料。
這個想法可以追溯到一條比機器學習更古老的原則:兩種解釋都符合事實時,選更簡單的那個。
基於懲罰:L2 和 L1
L2 正則化增加一項與權重大小的平方成正比的懲罰,把權重推向較小的值。權重大,模型就會對輸入的微小變化做出劇烈反應,這是死記硬背的典型特徵。L1 正則化懲罰的是權重的絕對值,會把許多權重直接壓到零,得到稀疏的模型。
權重衰減(weight decay)是現代深度學習中常見的形式:每一步都讓權重向零收縮一點。用普通 SGD 時它等價於 L2,但用 Adam 時並不等價,所以 AdamW 把權重衰減和梯度更新分開處理。AdamW 加上 0.01 到 0.1 左右的權重衰減,是大多數 Transformer 訓練的預設設定。
基於雜訊:Dropout 及同類方法
Dropout 在訓練時隨機關閉一部分神經元,讓網路無法依賴任何單一路徑。類似的技巧還有隨機深度(隨機跳過整層)和標籤平滑(告訴模型正確答案的機率是 90% 而不是 100%,免得它過度自信)。大型 LLM 的預訓練通常很少用甚至不用 dropout,因為面對數兆 token,模型很少兩次見到同一個樣本,過擬合不是主要問題。
基於資料和流程
資料擴增為訓練樣本製造各種變體(裁剪、翻轉、改寫),讓模型學會哪些東西無關緊要。早停在驗證損失不再改善時停止訓練。就連選用較小的批次大小也有輕微的正則化效果,因為雜訊更大的梯度能防止模型陷進尖銳而過於特化的解。
微調中的正則化
用小資料集微調大模型,是開發者最需要正則化的場景。LoRA 這類參數高效方法本身就是一種正則化:只允許低秩改動,限制了模型能偏離多遠。實用的預設做法是:訓練輪數保持很少(通常 1 到 3 輪),學習率適中,並且留出一份驗證集。