幾乎所有語言模型訓練時使用的損失函數,模型給正確答案分配的機率越低,受到的懲罰就越重。
為什麼重要
當你盯著一次訓練,看到「loss: 2.31」時,這個數字幾乎總是交叉熵。它是預訓練和監督式微調要壓低的量,也是診斷過擬合和欠擬合的主要訊號。
它還能解釋模型的行為。由於對數會嚴厲懲罰「自信的錯誤」,模型學會了把機率分散到各個合理的選項上,而不是把一切押在一個選項上。正是這種經過校準的不確定性,讓取樣、溫度和 top-p 得以發揮作用。
深度解析
語言模型輸出的不是一個詞,而是詞彙表中每個 token 的機率。交叉熵只問一個問題,就把這些機率變成了一個分數:你給真正出現的下一個 token 分配了多少機率?損失就是這個機率的負對數。給正確的 token 分配機率 1,損失是 0。分配 0.5,損失約為 0.69。分配 0.01,損失是 4.6。
在數十億個 token 上取平均,就得到了 GPT、Claude、Llama 以及幾乎所有其他 LLM 的訓練目標。
讀懂這個數字
交叉熵的單位是 nat(自然對數)或 bit(以 2 為底的對數)。幾個參照點有助於理解:
- 一個在 50,000 個 token 的詞彙表上均勻亂猜的模型,損失是 ln(50,000) ≈ 10.8。
- 損失為 2.0,意味著模型平均給正確 token 分配約 13.5% 的機率(e⁻²)。
- 困惑度就是 e 的損失次方。損失 2.0 對應的困惑度約為 7.4:模型的不確定程度,相當於在大約 7 個可能性相同的 token 裡做選擇。
在真實文字上,損失永遠不可能降到零,因為語言是不可預測的。沒有人能確定下一個詞是什麼。
為什麼用這個損失
最小化交叉熵等價於最大化訓練資料的概似,這是統計學家用了一個世紀的原則。它和 softmax 也配合得很好:對 logits 的梯度就是預測機率減去真實答案,計算便宜,數值上也穩定。所以各個框架都把兩者合併成一個直接接收原始 logits 的函式。
變體
- 二元交叉熵:兩類的版本,用於是/否分類器和多標籤問題。
- 標籤平滑(label smoothing):把硬目標換成稍微軟化的目標(比如正確答案佔 90%),以減少過度自信。
- KL 散度:交叉熵的近親,衡量兩個分布之間的差距。蒸餾就是用這種方式訓練學生模型去匹配教師模型的完整輸出分布。
- 遮罩:在微調中,損失通常只在回答部分的 token 上計算,不包括提示。
它衡量不了什麼
交叉熵更低意味著對下一個 token 的預測更好,不一定意味著模型更有用或更真實。損失相近的兩個模型,在對話中的表現可能大不相同。所以損失曲線要配合任務評估和人工審查一起看,後續的訓練階段也改用偏好訊號或獎勵訊號。