跳到主要內容
Zubnet AI › 學習 › Wiki › 機器遺忘
訓練

機器遺忘

別名:Machine Unlearning、Unlearning、遺忘學習、LLM Unlearning
讓已經訓練好的模型忘掉特定資料或知識,而不必從頭重新訓練的一類技術。

為什麼重要

好幾方面的壓力讓它成了實際需求:

  • 隱私法規:像 GDPR 的「刪除權」這樣的規定,讓人們可以要求刪除自己的個人資料。這是否延伸到訓練好的模型,目前還沒有定論,但開發者希望手裡有現成的答案。
  • 著作權:法院判決或和解協議可能要求從模型中移除受保護的作品。
  • 安全:實驗室希望剔除危險知識,比如有助於製造生物武器的細節。
  • 修復:事後移除被投毒、標註錯誤或已經過時的資料。

深度解析

從資料庫裡刪掉一筆記錄很容易。要刪掉神經網路從這筆記錄裡學到的東西卻不容易,因為這些資訊分散在數十億個權重裡,和其他一切混在一起。唯一穩妥的辦法是去掉這些資料後重新訓練模型,而對大模型來說,這可能要花費數百萬美元。

機器遺忘要找的是一條更便宜的路:修改現有的模型,讓它表現得好像從未見過這些資料。

精確遺忘與近似遺忘

精確遺忘保證結果與重新訓練一致。最知名的方法 SISA 把訓練資料切成若干分片(shard),在每個分片上單獨訓練一個子模型,這樣刪除一個資料點只需重新訓練一個分片。它適用於較小的模型,但與 LLM 的訓練方式不匹配。

近似遺忘直接編輯訓練好的模型。常見方法有:

  • 梯度上升:在要遺忘的資料上把訓練反過來做,提高模型在這些資料上的損失,通常還會配合在要保留的資料上做正常訓練來平衡。
  • 替代目標:微調模型,讓它在被遺忘的話題上給出泛泛的回答或「我不知道」。微軟的研究人員在 2023 年用過這種方法的一個版本,讓一個 Llama 模型基本忘掉了《哈利·波特》系列。
  • 表示層方法:打亂模型在目標話題上的內部激活,讓它無法就此進行推理,RMU 方法就是這樣做的。

它真的忘了嗎?

這正是薄弱之處。研究不斷發現,近似遺忘往往只是把知識藏了起來,而不是抹掉:

  • 在相關資料上做少量微調,就可能把「被遺忘」的知識找回來。
  • 越獄和換一種問法也能把它套出來。
  • 2024 年的一項研究發現,只是對做過遺忘的模型進行量化,就恢復了它本該丟掉的大部分內容。
  • 遺忘還會造成連帶損傷:模型在本該保留的相近話題上變差了。

TOFU(虛構的作者檔案)、WMDP(危險知識)和 MUSE 等基準同時測試遺忘效果和保留下來的能力,目前沒有哪種方法能在所有方面都得高分。

遺忘與相關概念

  • 知識編輯修改某一條具體事實(「現在的 CEO 是 X」)。遺忘則是移除。
  • 差分隱私在訓練過程中限制模型對任何個人能記住多少,從源頭上預防問題。
  • 輸出過濾器和護欄阻止模型說出某些內容,但不改變它知道什麼。

實用建議

如果資料將來可能需要刪除,最可靠的設計是不讓它進入權重。訓練前先過濾訓練資料,把會變化或敏感的資訊透過 RAG 提供,在那裡刪掉一份文件就是真的刪掉了。把現在的遺忘方法看作降低風險的手段,而不是保證,並在依賴它們之前先做對抗性測試。

← 所有術語
ESC