跳到主要内容
Zubnet AI › 学习 › Wiki › 梯度提升
基础

梯度提升

别名:Gradient Boosting、决策树、Decision Trees、XGBoost、LightGBM、GBDT
一种经典的机器学习方法,依次构建许多小决策树,每一棵都纠正前面那些树的错误,至今仍是表格类数据的首选。

为什么重要

不是每个 AI 问题都需要神经网络。对于表格数据,也就是客户记录、交易、传感器读数或医疗测量这类由行和列组成的数据,梯度提升树仍然是默认选择,在基准测试和竞赛中经常与深度学习打平甚至胜出。它们在 CPU 上几秒或几分钟就能训练完,几乎不需要数据预处理,能处理缺失值和类型混杂的列,只有几千行数据也能用。

生产环境中的机器学习有很大一部分正是这些:欺诈检测、信用评分、客户流失预测、需求预测、广告排序。如果你有一张电子表格和一个想预测的列,从这里开始,而不是从 LLM 开始。

深度解析

决策树是机器学习里最容易读懂的模型:一张由是非问题组成的流程图(“收入高于 50,000 吗?”“账户开了两年以上吗?”),最后给出一个预测。单独一棵树能力很弱,而且容易过拟合。诀窍是把很多棵树组合起来。

梯度提升是一棵接一棵地建树。第一棵树给出一个粗略的预测。第二棵在第一棵的误差上训练,第三棵在仍然不对的部分上训练,如此进行几百甚至几千轮。每棵树都很小,但它们加在一起非常准确。这个方法由 Jerome Friedman 在 2001 年前后形式化,XGBoost(2014)、LightGBM(2016)和 CatBoost(2017)等库让它变得又快又好用。

组合树的两种方式

  • 随机森林(bagging):独立训练许多棵深树,每棵都使用数据和特征的一个随机样本,然后取平均。取平均能抵消单棵树的噪声。稳健,不容易出错。
  • 梯度提升:依次训练浅树,每棵树拟合损失的梯度,也就是当前预测错得最厉害的方向。通常比随机森林更准确,但对设置更敏感。

关键的调节项

  • 树的数量和学习率:每棵树的贡献会按学习率缩小。学习率低一些、树多一些,通常泛化得更好。在验证集上用早停来决定树的数量。
  • 树的深度或叶子数:控制每棵树的复杂程度。通常使用浅树(深度 3 到 8)。
  • 子采样:每棵树只用随机抽取的一部分行和列,能起到正则化的作用。

为什么树在这里胜过神经网络

表格的各列含义和尺度差别很大,重要的规律往往是清晰的阈值,而且许多列根本无关紧要。树能自然地应对这三点。神经网络更喜欢平滑的规律以及像素或 token 这类大规模的同质输入。较新的方法,比如面向小表格的基础模型 TabPFN,正在某些场景下缩小差距,但提升树仍是需要超越的基线。

看清内部

树提供了实用的可解释性:特征重要性分数,以及精确的 SHAP 值,后者能解释每一列把某一次预测推高或拉低了多少。这在贷款等受监管的用途中很重要。

LLM 的位置

LLM 和提升树是互补的。一种常见做法是用 LLM 或嵌入模型把杂乱的文本变成特征(一个类别、一个情感分数、一个嵌入),再和数值列一起输入提升模型。

← 所有术语
ESC