讓已經訓練好的模型忘掉特定資料或知識,而不必從頭重新訓練的一類技術。
為什麼重要
好幾方面的壓力讓它成了實際需求:
- 隱私法規:像 GDPR 的「刪除權」這樣的規定,讓人們可以要求刪除自己的個人資料。這是否延伸到訓練好的模型,目前還沒有定論,但開發者希望手裡有現成的答案。
- 著作權:法院判決或和解協議可能要求從模型中移除受保護的作品。
- 安全:實驗室希望剔除危險知識,比如有助於製造生物武器的細節。
- 修復:事後移除被投毒、標註錯誤或已經過時的資料。
深度解析
從資料庫裡刪掉一筆記錄很容易。要刪掉神經網路從這筆記錄裡學到的東西卻不容易,因為這些資訊分散在數十億個權重裡,和其他一切混在一起。唯一穩妥的辦法是去掉這些資料後重新訓練模型,而對大模型來說,這可能要花費數百萬美元。
機器遺忘要找的是一條更便宜的路:修改現有的模型,讓它表現得好像從未見過這些資料。
精確遺忘與近似遺忘
精確遺忘保證結果與重新訓練一致。最知名的方法 SISA 把訓練資料切成若干分片(shard),在每個分片上單獨訓練一個子模型,這樣刪除一個資料點只需重新訓練一個分片。它適用於較小的模型,但與 LLM 的訓練方式不匹配。
近似遺忘直接編輯訓練好的模型。常見方法有:
- 梯度上升:在要遺忘的資料上把訓練反過來做,提高模型在這些資料上的損失,通常還會配合在要保留的資料上做正常訓練來平衡。
- 替代目標:微調模型,讓它在被遺忘的話題上給出泛泛的回答或「我不知道」。微軟的研究人員在 2023 年用過這種方法的一個版本,讓一個 Llama 模型基本忘掉了《哈利·波特》系列。
- 表示層方法:打亂模型在目標話題上的內部激活,讓它無法就此進行推理,RMU 方法就是這樣做的。
它真的忘了嗎?
這正是薄弱之處。研究不斷發現,近似遺忘往往只是把知識藏了起來,而不是抹掉:
- 在相關資料上做少量微調,就可能把「被遺忘」的知識找回來。
- 越獄和換一種問法也能把它套出來。
- 2024 年的一項研究發現,只是對做過遺忘的模型進行量化,就恢復了它本該丟掉的大部分內容。
- 遺忘還會造成連帶損傷:模型在本該保留的相近話題上變差了。
TOFU(虛構的作者檔案)、WMDP(危險知識)和 MUSE 等基準同時測試遺忘效果和保留下來的能力,目前沒有哪種方法能在所有方面都得高分。
遺忘與相關概念
- 知識編輯修改某一條具體事實(「現在的 CEO 是 X」)。遺忘則是移除。
- 差分隱私在訓練過程中限制模型對任何個人能記住多少,從源頭上預防問題。
- 輸出過濾器和護欄阻止模型說出某些內容,但不改變它知道什麼。
實用建議
如果資料將來可能需要刪除,最可靠的設計是不讓它進入權重。訓練前先過濾訓練資料,把會變化或敏感的資訊透過 RAG 提供,在那裡刪掉一份文件就是真的刪掉了。把現在的遺忘方法看作降低風險的手段,而不是保證,並在依賴它們之前先做對抗性測試。