一种微调方法,在冻结为 4 位精度的模型之上训练 LoRA 适配器,让大模型能放进单块 GPU。
为什么重要
在 QLoRA 之前,微调 13B 参数以上的模型都需要多块数据中心级 GPU。QLoRA 把 30B 到 70B 模型的微调带到了单块工作站显卡上,把 7B 到 8B 模型的微调带到了 12 到 24 GB VRAM 的消费级 GPU 上,甚至带到了免费的云端 notebook 里。它至今仍是 Unsloth、Axolotl 以及 Hugging Face 的 TRL 和 PEFT 库等流行微调工具的默认方案。
深度解析
QLoRA 由华盛顿大学的 Tim Dettmers 及其同事在 2023 年提出,它把两个想法结合在一起。第一,用 4 位精度而不是 16 位来加载基础模型,内存占用减少约 4 倍。第二,让这些 4 位权重保持冻结,在其上以更高的精度训练小型 LoRA 适配器。梯度穿过量化后的模型流入适配器,只有适配器在学习。
最受瞩目的结果是:一个 650 亿参数的模型可以在单块 48 GB 的 GPU 上微调,在他们测试的基准上,质量与 16 位全量微调持平。
三个技巧
QLoRA 论文引入了三个部件,合在一起才让 4 位训练行得通:
- NF4(4-bit NormalFloat):一种 4 位数据类型,专为神经网络权重的钟形分布设计,比普通的 4 位整数丢失的信息更少。
- 双重量化:量化用到的那些小缩放常数本身也被量化,每个参数大约再省 0.4 位。
- 分页优化器:内存出现峰值时,优化器状态可以从 GPU 内存溢出到 CPU 内存,避免在长序列上因内存不足而崩溃。
粗略的内存预算
对一个 7B 到 8B 的模型:4 位权重占 4 到 5 GB 左右,LoRA 适配器及其优化器状态再加几百 MB,激活值则取决于批大小和序列长度。实际使用中,配合梯度检查点,16 GB VRAM 跑 8B 模型很宽裕,48 GB 左右能应付 70B 模型。
取舍
QLoRA 比普通 LoRA 慢,常常慢 30% 甚至更多,因为每次前向和反向传播都要实时把权重反量化。质量通常非常接近 16 位 LoRA,但并不总是完全一样,对微小数值细节敏感的任务尤其如此。
部署时还有一个细节。适配器是针对 4 位版本的模型训练的。你可以把它们合并进全精度的基础模型再上线,通常效果不错,但最好对合并后的结果做测试,而不是想当然地认为两者一致。
什么时候用它
当内存是瓶颈时用 QLoRA:模型大,GPU 小。如果 VRAM 充裕,普通的 16 位 LoRA 更快,也稍微简单些。如果微调的是小模型(1B 到 3B),省下的那点内存就没那么重要了。