跳到主要內容
Zubnet AI › 學習 › Wiki › 學習率
訓練

學習率

別名:Learning Rate、LR、步長
決定最佳化器每次更新邁多大一步的那個數字,也是最重要的訓練超參數。

為什麼重要

如果只能調一個超參數,就調它。學習率不對是訓練失敗最常見的原因,而且這種失敗很容易被誤讀:

  • 太高:損失飆升、震盪或變成 NaN。在微調中,模型可能忘掉原本會的東西,開始輸出垃圾。
  • 太低:損失幾乎不動。微調「沒有生效」,模型表現得和基礎模型一模一樣。

由於最佳值因模型、方法和資料而異,當一份別人用得好好的方案到你手裡不管用時,首先該檢查的就是它。

深度解析

訓練神經網路就像在大霧中下山。梯度告訴你,從你站的地方看,哪個方向是下坡。學習率決定你朝這個方向走多遠再重新查看。每個權重大致按這個方式更新:新權重 = 舊權重 − 學習率 × 梯度。

步子邁得太大,你會越過谷底,在兩側來回彈跳,甚至直接飛出去。步子邁得太小,你只能一點一點往前挪,白白浪費算力,還可能停在一個糟糕的位置。合適的值在兩者之間,通常是一個很小的數,比如 0.0001(寫作 1e-4)。

典型取值

以下是使用 AdamW 最佳化器時的起點,不是規則:

  • 從零開始預訓練 LLM:峰值大約在 1e-4 到 6e-4。
  • 對預訓練模型做完整微調:1e-5 到 5e-5。權重已經很好了,所以動作要輕。
  • LoRA 和 QLoRA:1e-4 到 2e-4。適配器的權重從接近零開始,需要更大的步子。

普通的 SGD 使用大得多的值,比如 0.1,因為它不像 Adam 那樣對梯度重新縮放。

預熱(Warmup)

大多數方案不會一開始就用完整的學習率,而是在最初的幾百或幾千步裡從接近零逐漸升上去。訓練初期,梯度又大又不穩定,而 Adam 這類自適應最佳化器還沒有累積起可靠的統計量。這時候邁出完整大小的步子,可能把模型撞進一個再也出不來的壞區域。預熱是一份便宜的保險,通常佔總步數的 1% 到 10%。

衰減

預熱之後,學習率通常會隨時間降低,最常見的是沿餘弦曲線或直線下降。大步子在前期進展快,小步子在後期便於精細調整。本 wiki 的「學習率排程」詞條介紹了各種選擇。

相互影響

  • 批次大小:批次越大,梯度雜訊越小,也能承受更高的學習率。一條常見的經驗法則是,批次大小調大時學習率也跟著調大。
  • 最佳化器:Adam 系列最佳化器會為每個權重調整步長,因此更寬容,但基礎學習率仍然重要。
  • 權重衰減(weight decay):一個獨立的設定,每一步都讓權重縮小一點。在 AdamW 中,它的效果與學習率掛鉤。
  • 分層學習率:有些微調方案對靠前的層(它們儲存著通用特徵)使用比靠後的層更小的學習率。

找到合適的值

在短時間的試跑中嘗試幾個相差約 3 倍的值(例如 1e-5、3e-5、1e-4、3e-4),比較損失曲線。好的學習率會讓損失下降得又快又平穩。仍能穩定訓練的最大值,往往就接近最佳值。

← 所有術語
ESC