為什麼重要
現代架構裡有很大一部分設計,都是為了解決這一個問題。ReLU 激勵函數、精心設計的權重初始化、正規化層、殘差連接、LSTM 和梯度裁剪,至少部分上都是對它的回應。理解了梯度消失,就能明白 Transformer 的一個模組為什麼長成現在這樣。
它至今仍是個實際問題。當一次訓練因為損失不再下降而停滯,或者在幾百步之後報出 NaN 而中斷時,梯度問題是首先要懷疑的對象之一。
深度解析
神經網路透過反向傳播來學習:輸出端的誤差一層一層往回傳,告訴每個權重該怎麼調整。每經過一層,訊號都要乘上那一層的局部導數。把許多小於 1 的數連乘,結果會趨向零;靠前的層幾乎收不到訊號,於是停止學習。這就是梯度消失問題。把許多大於 1 的數連乘,訊號會無限增大,權重劇烈跳動,損失變成 NaN。這就是梯度爆炸問題。
兩者都隨深度加劇,多年來一直是深層網路訓練不起來的主要原因。
問題從哪裡來
這個問題是 Sepp Hochreiter 等人在 1990 年代初發現的,主要出現在循環網路中。RNN 在每個時間步使用同一組權重,所以沿 100 個時間步做反向傳播,就相當於穿過 100 層。舊式激勵函數讓情況更糟:sigmoid 的導數最大只有 0.25,所以每一層至少把訊號縮小到四分之一。
解決辦法
- 更好的激勵函數:ReLU 對正輸入的導數恰好是 1,所以不會縮小訊號。現代 LLM 使用的 GELU 和 SwiGLU 表現類似。
- 初始化:Xavier 初始化和 He 初始化會選擇合適的初始權重,讓訊號在各層之間保持大致相同的尺度。
- 正規化:batch norm 和 layer norm 會把激活值重新居中並縮放,讓它們保持在健康的範圍內。
- 殘差連接:把一層的輸入加到它的輸出上,給梯度提供了一條直接往回走的通路。正是它讓 100 層以上的網路以及所有 Transformer 變得可以訓練。
- 門控架構:LSTM 和 GRU 讓資訊在時間上傳遞時幾乎不衰減。
- 梯度裁剪:如果梯度的大小超過閾值,就把它按比例縮小。這是應對梯度爆炸的標準做法,幾乎所有 LLM 訓練方案都會用到。
在今天的模型裡
Transformer 把殘差連接、layer norm 和精心設計的初始化結合起來,在很大程度上馴服了這個問題。一些小的選擇仍然重要:把正規化放在每個子層之前(「pre-norm」)而不是之後,讓非常深的 Transformer 穩定了許多。學習率預熱(warmup)之所以存在,部分原因也是為了避免最初幾步出現爆炸式的更新。
如何發現
在訓練過程中記錄梯度範數。範數一路跌向零,說明可能是梯度消失;突然出現尖峰隨後變成 NaN,說明可能是梯度爆炸。通常首先採取的措施是降低學習率、加上梯度裁剪或把閾值調得更嚴、延長預熱,以及檢查混合精度的設定。