跳到主要內容
Zubnet AI › 學習 › Wiki › SFT
訓練

SFT

別名:Supervised Fine-Tuning、監督式微調
用精心整理的輸入範例和你希望模型給出的確切輸出配對,對預訓練模型進行微調。

為什麼重要

你用過的聊天模型幾乎都經過了 SFT。它也是開發者自己最常做的那種微調:一家公司把模型微調成用自家口吻回答,或者輸出特定的 JSON 格式,這就是 SFT,通常配合 LoRA 或 QLoRA。

SFT 容易上手,在教格式和行為方面非常有效。只要你拿得出好的範例,它就是讓模型穩定地做某件具體事情的最快辦法。

深度解析

預訓練結束後,語言模型是一個強大的文字預測器,卻還不是一個有用的助理。問它一個問題,它可能接著再寫三個問題,因為網際網路上的文字常常就是這個樣子。監督式微調解決這個問題的辦法,是給模型看大量你想要的行為範例:一條提示,加上一份由人(或更強的模型)撰寫或認可的理想回答。模型被訓練成逐個 token 地生成這些回答。

SFT 通常是後訓練的第一階段。它把基礎模型變成一個會遵循指令、使用對話格式、以一致風格回應的模型。RLHF 或 DPO 這類偏好方法一般排在它之後。

工作原理

訓練資料是一組對話,每條對話由一條提示(有時還有系統提示和之前的輪次)和一份目標回答組成。模型能看到整段對話,但損失通常只在回答的 token 上計算。這叫做遮蔽提示:你希望模型學會寫出好的回答,而不是去預測使用者的問題。

每個範例都要用模型的對話範本來格式化,也就是標記系統、使用者和助理各輪從哪裡開始、到哪裡結束的那些特殊 token。範本用錯,是微調失敗最常見的原因之一。

品質勝過數量

一個反覆出現的結論是:少量出色的範例勝過大量平庸的範例。LIMA 論文(2023 年)表明,在一個好的基礎模型上,大約 1,000 條精心挑選的範例就能得到一個不錯的助理。實踐中,對一個範圍較窄的任務來說,幾百到幾千條高品質、多樣且一致的範例是合理的起點。

如今很多 SFT 資料是合成的:由更強的模型寫出,再經過篩選。這很高效,但學生會繼承老師的習慣和錯誤,所以篩選很重要。

SFT 與偏好訓練

SFT 教模型模仿。它最多只能和範例一樣好,而且從來看不到壞的回答長什麼樣。偏好方法(RLHF、DPO)給模型看一好一差成對的回答,這有助於提升有用性、安全性和語氣這類更微妙的品質。帶可驗證獎勵的強化學習(RLVR)在推理任務上更進一步,讓模型自己發現解法,而不是照抄。典型的現代流程是:預訓練,然後 SFT,然後偏好訓練或強化學習訓練。

常見陷阱

  • 遺忘:在範圍很窄的資料集上訓練太多輪,會侵蝕模型的通用能力。通常訓練 1 到 3 輪。
  • 資料不一致:如果範例之間在格式或語氣上互相矛盾,模型也會如此。
  • 用 SFT 教事實:它會讓模型對新資訊聽起來很有把握,卻並沒有可靠地掌握,這可能增加幻覺。知識的問題交給 RAG。
← 所有術語
ESC