跳到主要内容
Zubnet AI › 学习 › Wiki › 偏差-方差权衡
基础

偏差-方差权衡

别名:Bias-Variance Tradeoff、偏差-方差困境
在过于简单、抓不住规律的模型(偏差)和过于灵活、连噪声都去拟合的模型(方差)之间取得平衡。

为什么重要

偏差-方差权衡是大多数实际训练决策背后的思维模型:用多大的模型、加多强的正则化、训练多久、更多数据有没有用。如果模型偏差高,加数据解决不了,加容量才行。如果方差高,更多数据、正则化或更简单的模型会有帮助。

它也解释了集成方法为什么有效。把许多高方差的模型取平均(随机森林就是这么做的),可以抵消各自的大部分噪声,同时保留它们的低偏差。

深度解析

任何预测误差都可以拆成三部分。偏差是错误假设带来的误差:模型太死板,表达不了真实的规律,就像用直线去拟合曲线。方差是对具体训练数据过于敏感带来的误差:换一份略有不同的样本来训练,预测结果就大不相同。不可约噪声是数据本身的随机性,任何模型都消除不了。

所谓权衡,是指在经典机器学习里,降低其中一个往往会抬高另一个。简单模型偏差高、方差低(欠拟合)。复杂模型偏差低、方差高(过拟合)。目标是找到两者之间的最佳点。

注意,这里的“偏差”是统计学术语,和 AI 中的社会或伦理偏见无关,后者在本维基的“偏见”词条里单独介绍。

用飞镖靶来理解

想象你在扔飞镖。低偏差、低方差:紧紧聚在靶心。高偏差、低方差:聚得很紧,但偏在一边,也就是每次都错得一样。低偏差、高方差:平均起来在中心,但散得到处都是。高偏差、高方差:既分散又偏离中心。训练模型就像调整出手动作,每个选择都会让你在这几种情况之间移动。

实践中如何诊断

  • 高偏差(欠拟合):训练误差高,验证误差也差不多高。
  • 高方差(过拟合):训练误差低,验证误差却高出许多。

交叉验证在这里很有用:如果各折之间的分数波动很大,说明方差是个问题。

深度学习改写了规则

现代神经网络让这个经典故事变得复杂。研究者发现了双重下降:模型不断变大,越过能够记住训练数据的那个点之后,测试误差先变差,然后又重新改善。非常大、严重过参数化的网络虽然有足够的容量记住一切,却常常泛化得很好。部分原因在于隐式正则化:在众多能拟合数据的解里,梯度下降训练倾向于找到简单的那些。

这就是 LLM 的缩放定律看起来和教科书上的 U 形曲线如此不同的原因。对于在海量且很少重复的数据上训练的大模型来说,通常越大越好,主要风险是训练不足(偏差),而不是过拟合。

经典权衡仍然起作用的地方

数据少的时候,教科书上的权衡依然非常现实:表格数据问题、用几百个样本做微调,或者小众的分类器。在这些场景里,更小的模型、强正则化或者一个简单的基线,常常胜过大网络。在换更大的模型之前,一定要先和基线比一比。

← 所有术语
ESC