為什麼重要
這是讓微調能在消費級硬體上進行的日常工具之一。它幾乎出現在每一份訓練設定裡,名字是 gradient_accumulation_steps。真正影響訓練行為的量是有效批次大小:
有效批次大小 = 每步批次大小 × 累積步數 × GPU 數量
當一份教學說「batch size 32」時,指的是有效批次大小。明白這一點,你就能在小 GPU 上重現為大 GPU 設計的方案。
深度解析
訓練通常是一個迴圈:取一批樣本,計算梯度,更新權重,然後重複。批次越大,梯度越平滑、越可靠,但批次裡的每個樣本都要佔用 GPU 記憶體。如果你的 GPU 只放得下 4 個樣本,而訓練方案要求 32 個,那就有問題了。
梯度累積能解決這個問題。處理一個 4 樣本的批次,算出梯度,但先不更新。再處理 4 個樣本,把新梯度加到舊梯度上。這樣處理 8 個小批次之後,累加的梯度就和一個 32 樣本的批次算出來的一樣。這時再更新權重並歸零。記憶體佔用始終保持在 4 個樣本的水準。
程式碼裡是什麼樣
在 PyTorch 中,梯度預設會一直累加,直到你把它們歸零,所以梯度累積只是什麼時候呼叫最佳化器的問題:
for i, batch in enumerate(loader):
loss = model(batch).loss / accum_steps # scale so the sum is an average
loss.backward() # gradients accumulate
if (i + 1) % accum_steps == 0:
optimizer.step()
optimizer.zero_grad()
當你設定了 gradient_accumulation_steps,Hugging Face Transformers 這樣的函式庫會替你完成這件事。
代價是什麼
梯度累積省的是記憶體,不是時間。那 32 個樣本仍然要通過模型,只不過一次 4 個。在放得下真正的 32 樣本批次的硬體上,真正的大批次更快,因為它能更好地利用 GPU 的平行能力。
容易踩雷的細節
- 「步」指的是更新。 使用梯度累積時,一個最佳化器步覆蓋好幾個小批次。學習率排程、預熱和日誌通常按最佳化器步來計數,所以一個 epoch 裡的步數會變少。
- Batch normalization。 在批次上計算統計量的層,看到的仍然只是小批次。Transformer 使用 layer normalization,不受影響。
- 對比學習。 像 CLIP 或嵌入模型訓練那樣,把批次裡的每個樣本與其他所有樣本相比較的方法,從梯度累積中得不到任何好處,因為不同小批次裡的樣本永遠不會相遇。
- 剩餘的批次。 如果資料集大小不是累積次數的整數倍,最後那組不完整的批次需要單獨處理。
如何取值
把每步批次大小設到記憶體允許的上限,然後用梯度累積達到你想要的有效批次大小。對 LLM 做 LoRA 微調時,有效批次大小通常在 16 到 64 之間。梯度累積可以很好地和其他省記憶體的手段搭配:梯度檢查點、混合精度,以及像 QLoRA 那樣的量化基礎模型。