跳到主要内容
Zubnet AI › 学习 › Wiki › 梯度累积
训练

梯度累积

别名:Gradient Accumulation、累积梯度、虚拟批大小
一种训练技巧,先把几个小批次的梯度加在一起再更新权重,从而在内存有限的情况下模拟大批次。

为什么重要

这是让微调能在消费级硬件上进行的日常工具之一。它几乎出现在每一份训练配置里,名字是 gradient_accumulation_steps。真正影响训练行为的量是有效批大小:

有效批大小 = 每步批大小 × 累积步数 × GPU 数量

当一份教程说“batch size 32”时,指的是有效批大小。明白这一点,你就能在小 GPU 上复现为大 GPU 设计的方案。

深度解析

训练通常是一个循环:取一批样本,计算梯度,更新权重,然后重复。批次越大,梯度越平滑、越可靠,但批次里的每个样本都要占用 GPU 内存。如果你的 GPU 只放得下 4 个样本,而训练方案要求 32 个,那就有问题了。

梯度累积能解决这个问题。处理一个 4 样本的批次,算出梯度,但先不更新。再处理 4 个样本,把新梯度加到旧梯度上。这样处理 8 个小批次之后,累加的梯度就和一个 32 样本的批次算出来的一样。这时再更新权重并清零。内存占用始终保持在 4 个样本的水平。

代码里是什么样

在 PyTorch 中,梯度默认会一直累加,直到你把它们清零,所以梯度累积只是什么时候调用优化器的问题:

for i, batch in enumerate(loader):
    loss = model(batch).loss / accum_steps   # scale so the sum is an average
    loss.backward()                          # gradients accumulate
    if (i + 1) % accum_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

当你设置了 gradient_accumulation_steps,Hugging Face Transformers 这样的库会替你完成这件事。

代价是什么

梯度累积省的是内存,不是时间。那 32 个样本仍然要通过模型,只不过一次 4 个。在放得下真正的 32 样本批次的硬件上,真正的大批次更快,因为它能更好地利用 GPU 的并行能力。

容易踩坑的细节

  • “步”指的是更新。 使用梯度累积时,一个优化器步覆盖好几个小批次。学习率调度、预热和日志通常按优化器步来计数,所以一个 epoch 里的步数会变少。
  • Batch normalization。 在批次上计算统计量的层,看到的仍然只是小批次。Transformer 使用 layer normalization,不受影响。
  • 对比学习。 像 CLIP 或嵌入模型训练那样,把批次里的每个样本与其他所有样本相比较的方法,从梯度累积中得不到任何好处,因为不同小批次里的样本永远不会相遇。
  • 剩余的批次。 如果数据集大小不是累积次数的整数倍,最后那组不完整的批次需要单独处理。

如何取值

把每步批大小设到内存允许的上限,然后用梯度累积达到你想要的有效批大小。对 LLM 做 LoRA 微调时,有效批大小通常在 16 到 64 之间。梯度累积可以很好地和其他省内存的手段搭配:梯度检查点、混合精度,以及像 QLoRA 那样的量化基础模型。

← 所有术语
ESC