跳到主要內容
Zubnet AI › 學習 › Wiki › 交叉熵
基礎

交叉熵

別名:Cross-Entropy、交叉熵損失、Log Loss、負對數概似
幾乎所有語言模型訓練時使用的損失函數,模型給正確答案分配的機率越低,受到的懲罰就越重。

為什麼重要

當你盯著一次訓練,看到「loss: 2.31」時,這個數字幾乎總是交叉熵。它是預訓練和監督式微調要壓低的量,也是診斷過擬合和欠擬合的主要訊號。

它還能解釋模型的行為。由於對數會嚴厲懲罰「自信的錯誤」,模型學會了把機率分散到各個合理的選項上,而不是把一切押在一個選項上。正是這種經過校準的不確定性,讓取樣、溫度和 top-p 得以發揮作用。

深度解析

語言模型輸出的不是一個詞,而是詞彙表中每個 token 的機率。交叉熵只問一個問題,就把這些機率變成了一個分數:你給真正出現的下一個 token 分配了多少機率?損失就是這個機率的負對數。給正確的 token 分配機率 1,損失是 0。分配 0.5,損失約為 0.69。分配 0.01,損失是 4.6。

在數十億個 token 上取平均,就得到了 GPT、Claude、Llama 以及幾乎所有其他 LLM 的訓練目標。

讀懂這個數字

交叉熵的單位是 nat(自然對數)或 bit(以 2 為底的對數)。幾個參照點有助於理解:

  • 一個在 50,000 個 token 的詞彙表上均勻亂猜的模型,損失是 ln(50,000) ≈ 10.8。
  • 損失為 2.0,意味著模型平均給正確 token 分配約 13.5% 的機率(e⁻²)。
  • 困惑度就是 e 的損失次方。損失 2.0 對應的困惑度約為 7.4:模型的不確定程度,相當於在大約 7 個可能性相同的 token 裡做選擇。

在真實文字上,損失永遠不可能降到零,因為語言是不可預測的。沒有人能確定下一個詞是什麼。

為什麼用這個損失

最小化交叉熵等價於最大化訓練資料的概似,這是統計學家用了一個世紀的原則。它和 softmax 也配合得很好:對 logits 的梯度就是預測機率減去真實答案,計算便宜,數值上也穩定。所以各個框架都把兩者合併成一個直接接收原始 logits 的函式。

變體

  • 二元交叉熵:兩類的版本,用於是/否分類器和多標籤問題。
  • 標籤平滑(label smoothing):把硬目標換成稍微軟化的目標(比如正確答案佔 90%),以減少過度自信。
  • KL 散度:交叉熵的近親,衡量兩個分布之間的差距。蒸餾就是用這種方式訓練學生模型去匹配教師模型的完整輸出分布。
  • 遮罩:在微調中,損失通常只在回答部分的 token 上計算,不包括提示。

它衡量不了什麼

交叉熵更低意味著對下一個 token 的預測更好,不一定意味著模型更有用或更真實。損失相近的兩個模型,在對話中的表現可能大不相同。所以損失曲線要配合任務評估和人工審查一起看,後續的訓練階段也改用偏好訊號或獎勵訊號。

← 所有術語
ESC