梯度提升
為什麼重要
不是每個 AI 問題都需要神經網路。對於表格資料,也就是客戶記錄、交易、感測器讀數或醫療測量這類由列和欄組成的資料,梯度提升樹仍然是預設選擇,在基準測試和競賽中經常與深度學習打平甚至勝出。它們在 CPU 上幾秒或幾分鐘就能訓練完,幾乎不需要資料前處理,能處理缺失值和類型混雜的欄位,只有幾千筆資料也能用。
正式環境中的機器學習有很大一部分正是這些:詐欺偵測、信用評分、客戶流失預測、需求預測、廣告排序。如果你有一張試算表和一個想預測的欄位,從這裡開始,而不是從 LLM 開始。
深度解析
決策樹是機器學習裡最容易讀懂的模型:一張由是非問題組成的流程圖(「收入高於 50,000 嗎?」「帳戶開了兩年以上嗎?」),最後給出一個預測。單獨一棵樹能力很弱,而且容易過擬合。訣竅是把很多棵樹組合起來。
梯度提升是一棵接一棵地建樹。第一棵樹給出一個粗略的預測。第二棵在第一棵的誤差上訓練,第三棵在仍然不對的部分上訓練,如此進行幾百甚至幾千輪。每棵樹都很小,但它們加在一起非常準確。這個方法由 Jerome Friedman 在 2001 年前後形式化,XGBoost(2014)、LightGBM(2016)和 CatBoost(2017)等函式庫讓它變得又快又好用。
組合樹的兩種方式
- 隨機森林(bagging):獨立訓練許多棵深樹,每棵都使用資料和特徵的一個隨機樣本,然後取平均。取平均能抵消單棵樹的雜訊。穩健,不容易出錯。
- 梯度提升:依次訓練淺樹,每棵樹擬合損失的梯度,也就是當前預測錯得最厲害的方向。通常比隨機森林更準確,但對設定更敏感。
關鍵的調節項
- 樹的數量和學習率:每棵樹的貢獻會按學習率縮小。學習率低一些、樹多一些,通常泛化得更好。在驗證集上用早停來決定樹的數量。
- 樹的深度或葉子數:控制每棵樹的複雜程度。通常使用淺樹(深度 3 到 8)。
- 子取樣:每棵樹只用隨機抽取的一部分列和欄,能起到正則化的作用。
為什麼樹在這裡勝過神經網路
表格的各欄含義和尺度差別很大,重要的規律往往是清晰的閾值,而且許多欄位根本無關緊要。樹能自然地應對這三點。神經網路更喜歡平滑的規律以及像素或 token 這類大規模的同質輸入。較新的方法,比如面向小表格的基礎模型 TabPFN,正在某些場景下縮小差距,但提升樹仍是需要超越的基線。
看清內部
樹提供了實用的可解釋性:特徵重要性分數,以及精確的 SHAP 值,後者能解釋每一欄把某一次預測推高或拉低了多少。這在貸款等受監管的用途中很重要。
LLM 的位置
LLM 和提升樹是互補的。一種常見做法是用 LLM 或嵌入模型把雜亂的文字變成特徵(一個類別、一個情感分數、一個嵌入),再和數值欄位一起輸入提升模型。