为什么重要
正则化是对付过拟合的主要手段。没有它,在中小规模数据集上训练的深度网络往往会把训练数据学得完美无缺,却在其他数据上一败涂地。几乎所有训练方案都用到某种形式的正则化。你在微调配置里看到的 weight_decay、dropout、lora_dropout,全都是正则化。
它是旋钮,不是开关。太弱,模型过拟合;太强,模型欠拟合。调节正则化强度是实践中最常见的超参数工作之一。
深度解析
容量足够大的模型可以把训练集连同其中的噪声和偶然特征一起背下来。正则化是一个总称,指我们为阻止这种情况、把模型推向更简单更通用的解所做的一切。有些技术在损失里加惩罚项,有些注入噪声,有些限制训练过程,还有些只是给模型更多样的数据。
这个想法可以追溯到一条比机器学习更古老的原则:两种解释都符合事实时,选更简单的那个。
基于惩罚:L2 和 L1
L2 正则化增加一项与权重大小的平方成正比的惩罚,把权重推向较小的值。权重大,模型就会对输入的微小变化做出剧烈反应,这是死记硬背的典型特征。L1 正则化惩罚的是权重的绝对值,会把许多权重直接压到零,得到稀疏的模型。
权重衰减(weight decay)是现代深度学习中常见的形式:每一步都让权重向零收缩一点。用普通 SGD 时它等价于 L2,但用 Adam 时并不等价,所以 AdamW 把权重衰减和梯度更新分开处理。AdamW 加上 0.01 到 0.1 左右的权重衰减,是大多数 Transformer 训练的默认配置。
基于噪声:Dropout 及同类方法
Dropout 在训练时随机关闭一部分神经元,让网络无法依赖任何单一路径。类似的技巧还有随机深度(随机跳过整层)和标签平滑(告诉模型正确答案的概率是 90% 而不是 100%,免得它过度自信)。大型 LLM 的预训练通常很少用甚至不用 dropout,因为面对数万亿 token,模型很少两次见到同一个样本,过拟合不是主要矛盾。
基于数据和流程
数据增强为训练样本制造各种变体(裁剪、翻转、改写),让模型学会哪些东西无关紧要。早停在验证损失不再改善时停止训练。就连选用较小的批大小也有轻微的正则化效果,因为噪声更大的梯度能防止模型陷进尖锐而过于特化的解。
微调中的正则化
用小数据集微调大模型,是开发者最需要正则化的场景。LoRA 这类参数高效方法本身就是一种正则化:只允许低秩改动,限制了模型能偏离多远。实用的默认做法是:训练轮数保持很少(通常 1 到 3 轮),学习率适中,并且留出一份验证集。