跳到主要內容
Zubnet AI › 學習 › Wiki › PEFT
訓練

PEFT

別名:Parameter-Efficient Fine-Tuning、參數高效微調
一類微調方法,只訓練少量新增或選定的參數,而不是整個模型。

為什麼重要

PEFT 讓微調變得人人可及。藉助 LoRA 和 QLoRA 這類方法,人們用單塊 GPU 就能微調 7B 到 70B 的模型。產出是一個很小的適配器檔案,通常只有幾十 MB,而不是好幾 GB 的模型。你可以保留一個基礎模型,按客戶或任務切換適配器,vLLM 這類推論服務系統還能在同一個基礎模型上同時服務多個 LoRA 適配器。

由於原始權重保持凍結,PEFT 也減輕了災難性遺忘:模型在學習你的任務時,不太容易丟掉它的通用能力。

深度解析

完整微調會更新模型裡的每一個權重。對一個 700 億參數的模型來說,這意味著要為 700 億個數字儲存梯度和最佳化器狀態,需要一整個 GPU 叢集,而且每個任務都要另存一份完整的模型。參數高效微調則凍結原始模型,只訓練一個很小的附加部分,往往遠不到參數總量的 1%。

在大多數實際任務上,效果出人意料地接近完整微調,成本卻只是零頭。PEFT 也是 Hugging Face 一個流行函式庫的名字,這個函式庫實作了這些方法。

主要方法

  • LoRA(低秩適應):在現有權重矩陣旁邊加上小的低秩矩陣,只訓練它們。這是目前用得最多的方法,遠超其他。
  • QLoRA:在量化到 4 位元的基礎模型上做 LoRA,大模型也能放進不大的 VRAM。
  • Adapter(適配器):插在每個 Transformer 塊內部的小型瓶頸層。它是最早的 PEFT 方法之一(2019 年),但會增加一點推論延遲,不像 LoRA 可以合併進基礎權重。
  • Prefix tuning 和 prompt tuning:學習幾個加在輸入前面的「虛擬 token」。非常便宜,但在困難任務上通常不如 LoRA。
  • IA³ 及類似方法:學習逐通道的縮放向量。體積極小,在需要成千上萬個適配器時很有用。
  • DoRA 等 LoRA 變體:調整低秩更新的施加方式,換取略好一點的品質。

PEFT 擅長什麼,不擅長什麼

PEFT 最擅長教風格、格式和行為:品牌語氣、JSON schema、特定的分類體系、工具呼叫的約定。它不太擅長灌輸大量新知識。如果你需要模型了解你的文件,RAG 通常是更合適的工具,有時可以再配上一次輕量微調來解決格式問題。

實用的選擇

LoRA 類方法的主要旋鈕是秩(適配器有多大,常見取值 8 到 64)、適配哪些層(適配所有線性層通常效果最好)、學習率(比完整微調高,通常在 1e-4 到 2e-4 左右)和訓練輪數。先從小規模開始,在留出的樣本上評估之後再擴大。

它處在什麼位置

PEFT 介於提示工程和完整微調之間。先試提示和少樣本範例。如果碰到了天花板,下一步就是跑一次 PEFT。完整微調主要留給實驗室,以及教模型一門新語言這類大幅度的改變。

← 所有術語
ESC