跳到主要内容
Zubnet AI › 学习 › Wiki › 交叉熵
基础

交叉熵

别名:Cross-Entropy、交叉熵损失、Log Loss、负对数似然
几乎所有语言模型训练时使用的损失函数,模型给正确答案分配的概率越低,受到的惩罚就越重。

为什么重要

当你盯着一次训练,看到“loss: 2.31”时,这个数字几乎总是交叉熵。它是预训练和监督微调要压低的量,也是诊断过拟合和欠拟合的主要信号。

它还能解释模型的行为。由于对数会严厉惩罚“自信的错误”,模型学会了把概率分散到各个合理的选项上,而不是把一切押在一个选项上。正是这种经过校准的不确定性,让采样、温度和 top-p 得以发挥作用。

深度解析

语言模型输出的不是一个词,而是词表中每个 token 的概率。交叉熵只问一个问题,就把这些概率变成了一个分数:你给真正出现的下一个 token 分配了多少概率?损失就是这个概率的负对数。给正确的 token 分配概率 1,损失是 0。分配 0.5,损失约为 0.69。分配 0.01,损失是 4.6。

在数十亿个 token 上取平均,就得到了 GPT、Claude、Llama 以及几乎所有其他 LLM 的训练目标。

读懂这个数字

交叉熵的单位是 nat(自然对数)或 bit(以 2 为底的对数)。几个参照点有助于理解:

  • 一个在 50,000 个 token 的词表上均匀乱猜的模型,损失是 ln(50,000) ≈ 10.8。
  • 损失为 2.0,意味着模型平均给正确 token 分配约 13.5% 的概率(e⁻²)。
  • 困惑度就是 e 的损失次方。损失 2.0 对应的困惑度约为 7.4:模型的不确定程度,相当于在大约 7 个可能性相同的 token 里做选择。

在真实文本上,损失永远不可能降到零,因为语言是不可预测的。没有人能确定下一个词是什么。

为什么用这个损失

最小化交叉熵等价于最大化训练数据的似然,这是统计学家用了一个世纪的原则。它和 softmax 也配合得很好:对 logits 的梯度就是预测概率减去真实答案,计算便宜,数值上也稳定。所以各个框架都把两者合并成一个直接接收原始 logits 的函数。

变体

  • 二元交叉熵:两类的版本,用于是/否分类器和多标签问题。
  • 标签平滑(label smoothing):把硬目标换成稍微软化的目标(比如正确答案占 90%),以减少过度自信。
  • KL 散度:交叉熵的近亲,衡量两个分布之间的差距。蒸馏就是用这种方式训练学生模型去匹配教师模型的完整输出分布。
  • 掩码:在微调中,损失通常只在回答部分的 token 上计算,不包括提示。

它衡量不了什么

交叉熵更低意味着对下一个 token 的预测更好,不一定意味着模型更有用或更真实。损失相近的两个模型,在对话中的表现可能大不相同。所以损失曲线要配合任务评估和人工审查一起看,后续的训练阶段也改用偏好信号或奖励信号。

← 所有术语
ESC