为什么重要
这是让微调能在消费级硬件上进行的日常工具之一。它几乎出现在每一份训练配置里,名字是 gradient_accumulation_steps。真正影响训练行为的量是有效批大小:
有效批大小 = 每步批大小 × 累积步数 × GPU 数量
当一份教程说“batch size 32”时,指的是有效批大小。明白这一点,你就能在小 GPU 上复现为大 GPU 设计的方案。
深度解析
训练通常是一个循环:取一批样本,计算梯度,更新权重,然后重复。批次越大,梯度越平滑、越可靠,但批次里的每个样本都要占用 GPU 内存。如果你的 GPU 只放得下 4 个样本,而训练方案要求 32 个,那就有问题了。
梯度累积能解决这个问题。处理一个 4 样本的批次,算出梯度,但先不更新。再处理 4 个样本,把新梯度加到旧梯度上。这样处理 8 个小批次之后,累加的梯度就和一个 32 样本的批次算出来的一样。这时再更新权重并清零。内存占用始终保持在 4 个样本的水平。
代码里是什么样
在 PyTorch 中,梯度默认会一直累加,直到你把它们清零,所以梯度累积只是什么时候调用优化器的问题:
for i, batch in enumerate(loader):
loss = model(batch).loss / accum_steps # scale so the sum is an average
loss.backward() # gradients accumulate
if (i + 1) % accum_steps == 0:
optimizer.step()
optimizer.zero_grad()
当你设置了 gradient_accumulation_steps,Hugging Face Transformers 这样的库会替你完成这件事。
代价是什么
梯度累积省的是内存,不是时间。那 32 个样本仍然要通过模型,只不过一次 4 个。在放得下真正的 32 样本批次的硬件上,真正的大批次更快,因为它能更好地利用 GPU 的并行能力。
容易踩坑的细节
- “步”指的是更新。 使用梯度累积时,一个优化器步覆盖好几个小批次。学习率调度、预热和日志通常按优化器步来计数,所以一个 epoch 里的步数会变少。
- Batch normalization。 在批次上计算统计量的层,看到的仍然只是小批次。Transformer 使用 layer normalization,不受影响。
- 对比学习。 像 CLIP 或嵌入模型训练那样,把批次里的每个样本与其他所有样本相比较的方法,从梯度累积中得不到任何好处,因为不同小批次里的样本永远不会相遇。
- 剩余的批次。 如果数据集大小不是累积次数的整数倍,最后那组不完整的批次需要单独处理。
如何取值
把每步批大小设到内存允许的上限,然后用梯度累积达到你想要的有效批大小。对 LLM 做 LoRA 微调时,有效批大小通常在 16 到 64 之间。梯度累积可以很好地和其他省内存的手段搭配:梯度检查点、混合精度,以及像 QLoRA 那样的量化基础模型。