跳到主要内容
Zubnet AI › 学习 › Wiki › 欠拟合
训练

欠拟合

别名:Underfitting、高偏差
模型过于简单或训练不足,学不到数据中的规律,连训练过的样本都表现不好。

为什么重要

分清欠拟合和过拟合,是机器学习里最有用的诊断能力之一,因为两者的解决办法方向相反。过拟合需要更小的容量、更强的正则化或更多的数据。欠拟合需要更大的容量、更长的训练或更弱的正则化。用错了办法,情况只会更糟。

在 LLM 时代,欠拟合更多指训练不足,而不是模型太小。Chinchilla 的研究表明,当时很多大模型相对于自身规模,训练用的 token 远远不够。它们处于欠拟合状态,反而被用更多数据训练的小模型超过。如今,小模型常常被有意训练到远超“计算最优”的程度,就是为了把最后一点欠拟合也挤掉。

深度解析

过拟合最受关注,但它的反面同样常见。欠拟合的模型学得不够:训练损失居高不下,验证损失也居高不下,两者还很接近。这就像一个只把课本翻了一遍的学生,练习题做不好,考试也考不好,因为他从来没有真正弄懂内容。

经典的例子是用一条直线去拟合明显弯曲的数据。再多的数据也没用,因为直线根本表达不了曲线。

如何识别

看损失曲线:

  • 欠拟合:训练损失和验证损失都高,并且接近,停止训练时可能还在下降。
  • 过拟合:训练损失持续下降,验证损失持平或上升,两者差距拉大。
  • 拟合良好:两者都低,差距很小。

如果训练损失本身就差,说明模型连见过的数据都拟合不了。这就是欠拟合,加数据解决不了。

常见原因

  • 容量太小:参数或层数太少,撑不起任务的复杂度。
  • 训练太少:停得太早,或者学习率小到模型几乎不动。
  • 正则化太强:过重的 dropout 或 weight decay 会妨碍模型学到真正的规律。
  • 特征太弱或输入有问题:如果解决任务所需的信息不在输入里,任何模型都学不会。
  • 有 bug:标签被打乱、数据管道出错、某一层被冻结,看起来都和欠拟合一模一样。先检查这些。

解决办法

训练更久、(谨慎地)调高学习率、换更大的模型、减弱正则化,或者改进输入。在微调中,LoRA 的秩太小或训练步数太少都会欠拟合:模型的行为几乎没有变化。可以先故意让模型在一小部分数据上过拟合。如果它连 100 个样本都记不住,说明你的配置里有东西坏了。

微调中的欠拟合

人们说一次微调“没起作用”,通常就是模型在新任务上欠拟合了。表现包括输出不遵守目标格式,或者听起来还是原来的基础模型。在想着加数据之前,先确认学习率和训练轮数是否合理,以及损失是否只计算在你希望模型学会的那部分内容上。

← 所有术语
ESC