决定优化器每次更新迈多大一步的那个数字,也是最重要的训练超参数。
为什么重要
如果只能调一个超参数,就调它。学习率不对是训练失败最常见的原因,而且这种失败很容易被误读:
- 太高:损失飙升、震荡或变成
NaN。在微调中,模型可能忘掉原本会的东西,开始输出垃圾。 - 太低:损失几乎不动。微调“没有生效”,模型表现得和基础模型一模一样。
由于最佳值因模型、方法和数据而异,当一份别人用得好好的方案到你手里不管用时,首先该检查的就是它。
深度解析
训练神经网络就像在大雾中下山。梯度告诉你,从你站的地方看,哪个方向是下坡。学习率决定你朝这个方向走多远再重新查看。每个权重大致按这个方式更新:新权重 = 旧权重 − 学习率 × 梯度。
步子迈得太大,你会越过谷底,在两侧来回弹跳,甚至直接飞出去。步子迈得太小,你只能一点一点往前挪,白白浪费算力,还可能停在一个糟糕的位置。合适的值在两者之间,通常是一个很小的数,比如 0.0001(写作 1e-4)。
典型取值
以下是使用 AdamW 优化器时的起点,不是规则:
- 从零开始预训练 LLM:峰值大约在 1e-4 到 6e-4。
- 对预训练模型做全量微调:1e-5 到 5e-5。权重已经很好了,所以动作要轻。
- LoRA 和 QLoRA:1e-4 到 2e-4。适配器的权重从接近零开始,需要更大的步子。
普通的 SGD 使用大得多的值,比如 0.1,因为它不像 Adam 那样对梯度重新缩放。
预热(Warmup)
大多数方案不会一开始就用完整的学习率,而是在最初的几百或几千步里从接近零逐渐升上去。训练初期,梯度又大又不稳定,而 Adam 这类自适应优化器还没有积累起可靠的统计量。这时候迈出完整大小的步子,可能把模型撞进一个再也出不来的坏区域。预热是一份便宜的保险,通常占总步数的 1% 到 10%。
衰减
预热之后,学习率通常会随时间降低,最常见的是沿余弦曲线或直线下降。大步子在前期进展快,小步子在后期便于精细调整。本 wiki 的“学习率调度”词条介绍了各种选择。
相互影响
- 批大小:批次越大,梯度噪声越小,也能承受更高的学习率。一条常见的经验法则是,批大小调大时学习率也跟着调大。
- 优化器:Adam 系列优化器会为每个权重调整步长,因此更宽容,但基础学习率仍然重要。
- 权重衰减(weight decay):一个独立的设置,每一步都让权重缩小一点。在 AdamW 中,它的效果与学习率挂钩。
- 分层学习率:有些微调方案对靠前的层(它们保存着通用特征)使用比靠后的层更小的学习率。
找到合适的值
在短时间的试跑中尝试几个相差约 3 倍的值(例如 1e-5、3e-5、1e-4、3e-4),比较损失曲线。好的学习率会让损失下降得又快又平稳。仍能稳定训练的最大值,往往就接近最佳值。