跳到主要內容
Zubnet AI › 學習 › Wiki › 梯度消失
基礎

梯度消失

別名:Vanishing Gradients、梯度爆炸、梯度消失問題
一種訓練故障,學習訊號在向後穿過許多層的過程中逐漸縮小到幾乎為零(或者急劇膨脹)。

為什麼重要

現代架構裡有很大一部分設計,都是為了解決這一個問題。ReLU 激勵函數、精心設計的權重初始化、正規化層、殘差連接、LSTM 和梯度裁剪,至少部分上都是對它的回應。理解了梯度消失,就能明白 Transformer 的一個模組為什麼長成現在這樣。

它至今仍是個實際問題。當一次訓練因為損失不再下降而停滯,或者在幾百步之後報出 NaN 而中斷時,梯度問題是首先要懷疑的對象之一。

深度解析

神經網路透過反向傳播來學習:輸出端的誤差一層一層往回傳,告訴每個權重該怎麼調整。每經過一層,訊號都要乘上那一層的局部導數。把許多小於 1 的數連乘,結果會趨向零;靠前的層幾乎收不到訊號,於是停止學習。這就是梯度消失問題。把許多大於 1 的數連乘,訊號會無限增大,權重劇烈跳動,損失變成 NaN。這就是梯度爆炸問題。

兩者都隨深度加劇,多年來一直是深層網路訓練不起來的主要原因。

問題從哪裡來

這個問題是 Sepp Hochreiter 等人在 1990 年代初發現的,主要出現在循環網路中。RNN 在每個時間步使用同一組權重,所以沿 100 個時間步做反向傳播,就相當於穿過 100 層。舊式激勵函數讓情況更糟:sigmoid 的導數最大只有 0.25,所以每一層至少把訊號縮小到四分之一。

解決辦法

  • 更好的激勵函數:ReLU 對正輸入的導數恰好是 1,所以不會縮小訊號。現代 LLM 使用的 GELU 和 SwiGLU 表現類似。
  • 初始化:Xavier 初始化和 He 初始化會選擇合適的初始權重,讓訊號在各層之間保持大致相同的尺度。
  • 正規化:batch norm 和 layer norm 會把激活值重新居中並縮放,讓它們保持在健康的範圍內。
  • 殘差連接:把一層的輸入加到它的輸出上,給梯度提供了一條直接往回走的通路。正是它讓 100 層以上的網路以及所有 Transformer 變得可以訓練。
  • 門控架構:LSTM 和 GRU 讓資訊在時間上傳遞時幾乎不衰減。
  • 梯度裁剪:如果梯度的大小超過閾值,就把它按比例縮小。這是應對梯度爆炸的標準做法,幾乎所有 LLM 訓練方案都會用到。

在今天的模型裡

Transformer 把殘差連接、layer norm 和精心設計的初始化結合起來,在很大程度上馴服了這個問題。一些小的選擇仍然重要:把正規化放在每個子層之前(「pre-norm」)而不是之後,讓非常深的 Transformer 穩定了許多。學習率預熱(warmup)之所以存在,部分原因也是為了避免最初幾步出現爆炸式的更新。

如何發現

在訓練過程中記錄梯度範數。範數一路跌向零,說明可能是梯度消失;突然出現尖峰隨後變成 NaN,說明可能是梯度爆炸。通常首先採取的措施是降低學習率、加上梯度裁剪或把閾值調得更嚴、延長預熱,以及檢查混合精度的設定。

← 所有術語
ESC