跳到主要內容
Zubnet AI › 學習 › Wiki › 梯度累積
訓練

梯度累積

別名:Gradient Accumulation、累積梯度、虛擬批次大小
一種訓練技巧,先把幾個小批次的梯度加在一起再更新權重,從而在記憶體有限的情況下模擬大批次。

為什麼重要

這是讓微調能在消費級硬體上進行的日常工具之一。它幾乎出現在每一份訓練設定裡,名字是 gradient_accumulation_steps。真正影響訓練行為的量是有效批次大小:

有效批次大小 = 每步批次大小 × 累積步數 × GPU 數量

當一份教學說「batch size 32」時,指的是有效批次大小。明白這一點,你就能在小 GPU 上重現為大 GPU 設計的方案。

深度解析

訓練通常是一個迴圈:取一批樣本,計算梯度,更新權重,然後重複。批次越大,梯度越平滑、越可靠,但批次裡的每個樣本都要佔用 GPU 記憶體。如果你的 GPU 只放得下 4 個樣本,而訓練方案要求 32 個,那就有問題了。

梯度累積能解決這個問題。處理一個 4 樣本的批次,算出梯度,但先不更新。再處理 4 個樣本,把新梯度加到舊梯度上。這樣處理 8 個小批次之後,累加的梯度就和一個 32 樣本的批次算出來的一樣。這時再更新權重並歸零。記憶體佔用始終保持在 4 個樣本的水準。

程式碼裡是什麼樣

在 PyTorch 中,梯度預設會一直累加,直到你把它們歸零,所以梯度累積只是什麼時候呼叫最佳化器的問題:

for i, batch in enumerate(loader):
    loss = model(batch).loss / accum_steps   # scale so the sum is an average
    loss.backward()                          # gradients accumulate
    if (i + 1) % accum_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

當你設定了 gradient_accumulation_steps,Hugging Face Transformers 這樣的函式庫會替你完成這件事。

代價是什麼

梯度累積省的是記憶體,不是時間。那 32 個樣本仍然要通過模型,只不過一次 4 個。在放得下真正的 32 樣本批次的硬體上,真正的大批次更快,因為它能更好地利用 GPU 的平行能力。

容易踩雷的細節

  • 「步」指的是更新。 使用梯度累積時,一個最佳化器步覆蓋好幾個小批次。學習率排程、預熱和日誌通常按最佳化器步來計數,所以一個 epoch 裡的步數會變少。
  • Batch normalization。 在批次上計算統計量的層,看到的仍然只是小批次。Transformer 使用 layer normalization,不受影響。
  • 對比學習。 像 CLIP 或嵌入模型訓練那樣,把批次裡的每個樣本與其他所有樣本相比較的方法,從梯度累積中得不到任何好處,因為不同小批次裡的樣本永遠不會相遇。
  • 剩餘的批次。 如果資料集大小不是累積次數的整數倍,最後那組不完整的批次需要單獨處理。

如何取值

把每步批次大小設到記憶體允許的上限,然後用梯度累積達到你想要的有效批次大小。對 LLM 做 LoRA 微調時,有效批次大小通常在 16 到 64 之間。梯度累積可以很好地和其他省記憶體的手段搭配:梯度檢查點、混合精度,以及像 QLoRA 那樣的量化基礎模型。

← 所有術語
ESC