一类微调方法,只训练少量新增或选定的参数,而不是整个模型。
为什么重要
PEFT 让微调变得人人可及。借助 LoRA 和 QLoRA 这类方法,人们用单块 GPU 就能微调 7B 到 70B 的模型。产出是一个很小的适配器文件,通常只有几十 MB,而不是好几 GB 的模型。你可以保留一个基础模型,按客户或任务切换适配器,vLLM 这类推理服务系统还能在同一个基础模型上同时服务多个 LoRA 适配器。
由于原始权重保持冻结,PEFT 也减轻了灾难性遗忘:模型在学习你的任务时,不太容易丢掉它的通用能力。
深度解析
全量微调会更新模型里的每一个权重。对一个 700 亿参数的模型来说,这意味着要为 700 亿个数字保存梯度和优化器状态,需要一整个 GPU 集群,而且每个任务都要另存一份完整的模型。参数高效微调则冻结原始模型,只训练一个很小的附加部分,往往远不到参数总量的 1%。
在大多数实际任务上,效果出人意料地接近全量微调,成本却只是零头。PEFT 也是 Hugging Face 一个流行库的名字,这个库实现了这些方法。
主要方法
- LoRA(低秩适配):在现有权重矩阵旁边加上小的低秩矩阵,只训练它们。这是目前用得最多的方法,远超其他。
- QLoRA:在量化到 4 位的基础模型上做 LoRA,大模型也能放进不大的 VRAM。
- Adapter(适配器):插在每个 Transformer 块内部的小型瓶颈层。它是最早的 PEFT 方法之一(2019 年),但会增加一点推理延迟,不像 LoRA 可以合并进基础权重。
- Prefix tuning 和 prompt tuning:学习几个加在输入前面的“虚拟 token”。非常便宜,但在困难任务上通常不如 LoRA。
- IA³ 及类似方法:学习逐通道的缩放向量。体积极小,在需要成千上万个适配器时很有用。
- DoRA 等 LoRA 变体:调整低秩更新的施加方式,换取略好一点的质量。
PEFT 擅长什么,不擅长什么
PEFT 最擅长教风格、格式和行为:品牌语气、JSON schema、特定的分类体系、工具调用的约定。它不太擅长灌输大量新知识。如果你需要模型了解你的文档,RAG 通常是更合适的工具,有时可以再配上一次轻量微调来解决格式问题。
实用的选择
LoRA 类方法的主要旋钮是秩(适配器有多大,常见取值 8 到 64)、适配哪些层(适配所有线性层通常效果最好)、学习率(比全量微调高,通常在 1e-4 到 2e-4 左右)和训练轮数。先从小规模开始,在留出的样本上评估之后再扩大。
它处在什么位置
PEFT 介于提示工程和全量微调之间。先试提示和少样本示例。如果碰到了天花板,下一步就是跑一次 PEFT。全量微调主要留给实验室,以及教模型一门新语言这类大幅度的改变。