跳到主要內容
Zubnet AI › 學習 › Wiki › QLoRA
訓練

QLoRA

別名:Quantized LoRA、量化 LoRA
一種微調方法,在凍結為 4 位元精度的模型之上訓練 LoRA 適配器,讓大模型能放進單塊 GPU。

為什麼重要

在 QLoRA 之前,微調 13B 參數以上的模型都需要多塊資料中心級 GPU。QLoRA 把 30B 到 70B 模型的微調帶到了單塊工作站顯示卡上,把 7B 到 8B 模型的微調帶到了 12 到 24 GB VRAM 的消費級 GPU 上,甚至帶到了免費的雲端 notebook 裡。它至今仍是 Unsloth、Axolotl 以及 Hugging Face 的 TRL 和 PEFT 函式庫等流行微調工具的預設方案。

深度解析

QLoRA 由華盛頓大學的 Tim Dettmers 及其同事在 2023 年提出,它把兩個想法結合在一起。第一,用 4 位元精度而不是 16 位元來載入基礎模型,記憶體佔用減少約 4 倍。第二,讓這些 4 位元權重保持凍結,在其上以更高的精度訓練小型 LoRA 適配器。梯度穿過量化後的模型流入適配器,只有適配器在學習。

最受矚目的結果是:一個 650 億參數的模型可以在單塊 48 GB 的 GPU 上微調,在他們測試的基準上,品質與 16 位元完整微調持平。

三個技巧

QLoRA 論文引入了三個部件,合在一起才讓 4 位元訓練行得通:

  • NF4(4-bit NormalFloat):一種 4 位元資料型別,專為神經網路權重的鐘形分布設計,比普通的 4 位元整數丟失的資訊更少。
  • 雙重量化:量化用到的那些小縮放常數本身也被量化,每個參數大約再省 0.4 位元。
  • 分頁最佳化器:記憶體出現峰值時,最佳化器狀態可以從 GPU 記憶體溢出到 CPU 記憶體,避免在長序列上因記憶體不足而崩潰。

粗略的記憶體預算

對一個 7B 到 8B 的模型:4 位元權重佔 4 到 5 GB 左右,LoRA 適配器及其最佳化器狀態再加幾百 MB,激活值則取決於批次大小和序列長度。實際使用中,配合梯度檢查點,16 GB VRAM 跑 8B 模型很寬裕,48 GB 左右能應付 70B 模型。

取捨

QLoRA 比普通 LoRA 慢,常常慢 30% 甚至更多,因為每次前向和反向傳播都要即時把權重反量化。品質通常非常接近 16 位元 LoRA,但並不總是完全一樣,對微小數值細節敏感的任務尤其如此。

部署時還有一個細節。適配器是針對 4 位元版本的模型訓練的。你可以把它們合併進全精度的基礎模型再上線,通常效果不錯,但最好對合併後的結果做測試,而不是想當然地認為兩者一致。

什麼時候用它

當記憶體是瓶頸時用 QLoRA:模型大,GPU 小。如果 VRAM 充裕,普通的 16 位元 LoRA 更快,也稍微簡單些。如果微調的是小模型(1B 到 3B),省下的那點記憶體就沒那麼重要了。

← 所有術語
ESC