Post-Training
為什麼重要
深度解析
剛完成預訓練的基礎模型，是一項強大卻難以使用的產物：它會接續文字，而不是回答問題；它沒有自己是助手的概念，也會同樣輕易地模仿訓練資料中最好與最壞的內容。後訓練透過一連串階段將這項產物轉為產品，每個階段都有各自的資料、目標與失敗模式。由 OpenAI 的 InstructGPT 於 2022 年普及、如今各大實驗室均以某種形式採用的經典做法，是從示範資料的監督式微調開始，再進行偏好最佳化，並逐漸加入大量強化學習。整條管線的運算成本只占預訓練的一小部分，卻幾乎決定使用者實際體驗的一切：風格、格式、拒絕行為，以及模型如何推理。
先從監督式微調開始
第一個階段是指令微調：使用輸入輸出配對進行監督式微調，向模型展示優良的助手回答應有的樣貌。以預訓練的標準來看，這些資料集非常小——只有數千至數百萬個精選範例，而非數兆個 token——品質遠比數量重要，因為模型會吸收示範中的所有習慣。這類資料如今有許多是Synthetic Data（合成資料），由更強大的模型生成並篩選，而非交由付費標註人員製作。SFT 也會加入聊天範本，也就是標示系統、使用者與助手各輪對話的特殊 token；這正是同一模型的基礎版與指令版表現如此不同的原因。若這個階段做得過頭，模型就會開始喪失預訓練所得的能力，形成程度較輕的災難性遺忘，並使完全未經調整的技能也出現退步。
用 RLHF 和 DPO 做偏好調校
示範無法教會所有事情，因此下一階段會將偏好最佳化：人類評分人員為兩兩成對的模型回答排序，這些排名用來訓練獎勵模型，再調整策略，使其能從獎勵模型取得高分。最初的方法會執行強化學習，通常是採用 KL 懲罰以避免策略偏移過遠的 PPO，而正是這條 RLHF 管線將 GPT-3 等級的基礎模型變成 ChatGPT。DPO（2023 年）則將整個迴圈化為直接套用至偏好配對的監督式目標，不需要獎勵模型或 RL 的複雜機制，讓任何有能力進行微調的人都能調整偏好。但兩種方法都有代價：當策略學會利用獎勵模型的盲點，獎勵模型就會遭到過度最佳化；而偏好調整也會助長諂媚，因為評分人員往往偏愛迎合、自信且討好的回答。
推理時代改變了成本計算
近期最大的轉變，是以可驗證獎勵進行強化學習：獎勵不再來自人類判斷，而由自動驗證器提供——數學答案是否符合解答、程式碼能否通過單元測試。由於不需標註人員，這種 RLVR 訓練的規模可遠超偏好資料；像 GRPO 這類由 DeepSeek 於 2024 年提出的演算法，更完全捨棄價值模型，進一步降低成本。這就是推理模型世代背後的方法——包括 OpenAI 的 o1、DeepSeek-R1 及其後繼者——模型會透過 RL 而非模仿，學會長思維鏈、回溯和自我修正。一種常見的捷徑是Distillation（蒸餾）：以前沿模型的長推理軌跡訓練較小模型，完全不執行 RL 也能取得大部分行為，就像 DeepSeek 為 R1 製作較小型 Qwen 與 Llama 變體的做法。無論採用哪條路徑，曾經無足輕重的後訓練運算，如今已成為與測試階段運算並列的一級擴展軸線。
安全也在這裡
使用者感受到的安全措施幾乎全都來自後訓練：拒絕行為、危險請求的處理方式，以及承受越獄攻擊時的穩健性。實驗室會將安全範例混入 SFT、為獎勵模型加入無害性訊號，並在發布前以紅隊測試反覆攻擊檢查點；Anthropic 的 Constitutional AI 則以依據書面原則檢查的 AI 回饋，取代部分人類無害性標籤。困難在於校準——安全訓練太少，模型便有危險；訓練過多，模型甚至會拒絕安全研究、醫療問題與黑暗題材小說。這些行為也相當表層：只需幾百個微調步驟，就能從開放權重模型中移除，這是每次開放發布都必須面對的現實疑慮。
它塑造行為，多於傳授知識
一個根深蒂固的誤解，是認為後訓練能向模型傳授新事實。大多數情況並非如此：各項證據，包括 2023 年 LIMA 等研究背後的「表層對齊假說」，都指出幾乎所有知識來自預訓練，而後訓練主要是呈現、格式化與約束既有內容。這會帶來實際後果。如果模型缺乏某項能力，擴大 SFT 資料集通常無法修正——知識必須來自基礎模型，否則 RL 階段就需要一項可供實際練習該行為的可驗證任務。這也解釋了為何仰賴後訓練填補事實缺口風險很高，以及為何採用檢索或更換基礎模型，通常才是務實的答案。