为什么重要
现代架构里有很大一部分设计,都是为了解决这一个问题。ReLU 激活函数、精心设计的权重初始化、归一化层、残差连接、LSTM 和梯度裁剪,至少部分上都是对它的回应。理解了梯度消失,就能明白 Transformer 的一个模块为什么长成现在这样。
它至今仍是个实际问题。当一次训练因为损失不再下降而停滞,或者在几百步之后报出 NaN 而中断时,梯度问题是首先要怀疑的对象之一。
深度解析
神经网络通过反向传播来学习:输出端的误差一层一层往回传,告诉每个权重该怎么调整。每经过一层,信号都要乘上那一层的局部导数。把许多小于 1 的数连乘,结果会趋向零;靠前的层几乎收不到信号,于是停止学习。这就是梯度消失问题。把许多大于 1 的数连乘,信号会无限增大,权重剧烈跳动,损失变成 NaN。这就是梯度爆炸问题。
两者都随深度加剧,多年来一直是深层网络训练不起来的主要原因。
问题从哪里来
这个问题是 Sepp Hochreiter 等人在 20 世纪 90 年代初发现的,主要出现在循环网络中。RNN 在每个时间步使用同一组权重,所以沿 100 个时间步做反向传播,就相当于穿过 100 层。旧式激活函数让情况更糟:sigmoid 的导数最大只有 0.25,所以每一层至少把信号缩小到四分之一。
解决办法
- 更好的激活函数:ReLU 对正输入的导数恰好是 1,所以不会缩小信号。现代 LLM 使用的 GELU 和 SwiGLU 表现类似。
- 初始化:Xavier 初始化和 He 初始化会选择合适的初始权重,让信号在各层之间保持大致相同的尺度。
- 归一化:batch norm 和 layer norm 会把激活值重新居中并缩放,让它们保持在健康的范围内。
- 残差连接:把一层的输入加到它的输出上,给梯度提供了一条直接往回走的通路。正是它让 100 层以上的网络以及所有 Transformer 变得可以训练。
- 门控架构:LSTM 和 GRU 让信息在时间上传递时几乎不衰减。
- 梯度裁剪:如果梯度的大小超过阈值,就把它按比例缩小。这是应对梯度爆炸的标准做法,几乎所有 LLM 训练方案都会用到。
在今天的模型里
Transformer 把残差连接、layer norm 和精心设计的初始化结合起来,在很大程度上驯服了这个问题。一些小的选择仍然重要:把归一化放在每个子层之前(“pre-norm”)而不是之后,让非常深的 Transformer 稳定了许多。学习率预热(warmup)之所以存在,部分原因也是为了避免最初几步出现爆炸式的更新。
如何发现
在训练过程中记录梯度范数。范数一路跌向零,说明可能是梯度消失;突然出现尖峰随后变成 NaN,说明可能是梯度爆炸。通常首先采取的措施是降低学习率、加上梯度裁剪或把阈值调得更严、延长预热,以及检查混合精度的设置。