为什么重要
你用过的聊天模型几乎都经过了 SFT。它也是开发者自己最常做的那种微调:一家公司把模型微调成用自家口吻回答,或者输出特定的 JSON 格式,这就是 SFT,通常配合 LoRA 或 QLoRA。
SFT 容易上手,在教格式和行为方面非常有效。只要你拿得出好的示例,它就是让模型稳定地做某件具体事情的最快办法。
深度解析
预训练结束后,语言模型是一个强大的文本预测器,却还不是一个有用的助手。问它一个问题,它可能接着再写三个问题,因为互联网上的文本常常就是这个样子。监督微调解决这个问题的办法,是给模型看大量你想要的行为示例:一条提示,加上一份由人(或更强的模型)撰写或认可的理想回答。模型被训练成逐个 token 地生成这些回答。
SFT 通常是后训练的第一阶段。它把基础模型变成一个会遵循指令、使用对话格式、以一致风格回应的模型。RLHF 或 DPO 这类偏好方法一般排在它之后。
工作原理
训练数据是一组对话,每条对话由一条提示(有时还有系统提示和之前的轮次)和一份目标回答组成。模型能看到整段对话,但损失通常只在回答的 token 上计算。这叫做掩蔽提示:你希望模型学会写出好的回答,而不是去预测用户的问题。
每个示例都要用模型的对话模板来格式化,也就是标记系统、用户和助手各轮从哪里开始、到哪里结束的那些特殊 token。模板用错,是微调失败最常见的原因之一。
质量胜过数量
一个反复出现的结论是:少量出色的示例胜过大量平庸的示例。LIMA 论文(2023 年)表明,在一个好的基础模型上,大约 1,000 条精心挑选的示例就能得到一个不错的助手。实践中,对一个范围较窄的任务来说,几百到几千条高质量、多样且一致的示例是合理的起点。
如今很多 SFT 数据是合成的:由更强的模型写出,再经过筛选。这很高效,但学生会继承老师的习惯和错误,所以筛选很重要。
SFT 与偏好训练
SFT 教模型模仿。它最多只能和示例一样好,而且从来看不到坏的回答长什么样。偏好方法(RLHF、DPO)给模型看一好一差成对的回答,这有助于提升有用性、安全性和语气这类更微妙的品质。带可验证奖励的强化学习(RLVR)在推理任务上更进一步,让模型自己发现解法,而不是照抄。典型的现代流程是:预训练,然后 SFT,然后偏好训练或强化学习训练。
常见陷阱
- 遗忘:在范围很窄的数据集上训练太多轮,会侵蚀模型的通用能力。通常训练 1 到 3 轮。
- 数据不一致:如果示例之间在格式或语气上互相矛盾,模型也会如此。
- 用 SFT 教事实:它会让模型对新信息听起来很有把握,却并没有可靠地掌握,这可能增加幻觉。知识的问题交给 RAG。