为什么重要
偏差-方差权衡是大多数实际训练决策背后的思维模型:用多大的模型、加多强的正则化、训练多久、更多数据有没有用。如果模型偏差高,加数据解决不了,加容量才行。如果方差高,更多数据、正则化或更简单的模型会有帮助。
它也解释了集成方法为什么有效。把许多高方差的模型取平均(随机森林就是这么做的),可以抵消各自的大部分噪声,同时保留它们的低偏差。
深度解析
任何预测误差都可以拆成三部分。偏差是错误假设带来的误差:模型太死板,表达不了真实的规律,就像用直线去拟合曲线。方差是对具体训练数据过于敏感带来的误差:换一份略有不同的样本来训练,预测结果就大不相同。不可约噪声是数据本身的随机性,任何模型都消除不了。
所谓权衡,是指在经典机器学习里,降低其中一个往往会抬高另一个。简单模型偏差高、方差低(欠拟合)。复杂模型偏差低、方差高(过拟合)。目标是找到两者之间的最佳点。
注意,这里的“偏差”是统计学术语,和 AI 中的社会或伦理偏见无关,后者在本维基的“偏见”词条里单独介绍。
用飞镖靶来理解
想象你在扔飞镖。低偏差、低方差:紧紧聚在靶心。高偏差、低方差:聚得很紧,但偏在一边,也就是每次都错得一样。低偏差、高方差:平均起来在中心,但散得到处都是。高偏差、高方差:既分散又偏离中心。训练模型就像调整出手动作,每个选择都会让你在这几种情况之间移动。
实践中如何诊断
- 高偏差(欠拟合):训练误差高,验证误差也差不多高。
- 高方差(过拟合):训练误差低,验证误差却高出许多。
交叉验证在这里很有用:如果各折之间的分数波动很大,说明方差是个问题。
深度学习改写了规则
现代神经网络让这个经典故事变得复杂。研究者发现了双重下降:模型不断变大,越过能够记住训练数据的那个点之后,测试误差先变差,然后又重新改善。非常大、严重过参数化的网络虽然有足够的容量记住一切,却常常泛化得很好。部分原因在于隐式正则化:在众多能拟合数据的解里,梯度下降训练倾向于找到简单的那些。
这就是 LLM 的缩放定律看起来和教科书上的 U 形曲线如此不同的原因。对于在海量且很少重复的数据上训练的大模型来说,通常越大越好,主要风险是训练不足(偏差),而不是过拟合。
经典权衡仍然起作用的地方
数据少的时候,教科书上的权衡依然非常现实:表格数据问题、用几百个样本做微调,或者小众的分类器。在这些场景里,更小的模型、强正则化或者一个简单的基线,常常胜过大网络。在换更大的模型之前,一定要先和基线比一比。