让已经训练好的模型忘掉特定数据或知识,而不必从头重新训练的一类技术。
为什么重要
好几方面的压力让它成了实际需求:
- 隐私法规:像 GDPR 的“删除权”这样的规定,让人们可以要求删除自己的个人数据。这是否延伸到训练好的模型,目前还没有定论,但开发者希望手里有现成的答案。
- 版权:法院判决或和解协议可能要求从模型中移除受保护的作品。
- 安全:实验室希望剔除危险知识,比如有助于制造生物武器的细节。
- 修复:事后移除被投毒、标注错误或已经过时的数据。
深度解析
从数据库里删掉一行很容易。要删掉神经网络从这一行里学到的东西却不容易,因为这些信息分散在数十亿个权重里,和其他一切混在一起。唯一稳妥的办法是去掉这些数据后重新训练模型,而对大模型来说,这可能要花费数百万美元。
机器遗忘要找的是一条更便宜的路:修改现有的模型,让它表现得好像从未见过这些数据。
精确遗忘与近似遗忘
精确遗忘保证结果与重新训练一致。最知名的方法 SISA 把训练数据切成若干分片(shard),在每个分片上单独训练一个子模型,这样删除一个数据点只需重新训练一个分片。它适用于较小的模型,但与 LLM 的训练方式不匹配。
近似遗忘直接编辑训练好的模型。常见方法有:
- 梯度上升:在要遗忘的数据上把训练反过来做,提高模型在这些数据上的损失,通常还会配合在要保留的数据上做正常训练来平衡。
- 替代目标:微调模型,让它在被遗忘的话题上给出泛泛的回答或“我不知道”。微软的研究人员在 2023 年用过这种方法的一个版本,让一个 Llama 模型基本忘掉了《哈利·波特》系列。
- 表示层方法:打乱模型在目标话题上的内部激活,让它无法就此进行推理,RMU 方法就是这样做的。
它真的忘了吗?
这正是薄弱之处。研究不断发现,近似遗忘往往只是把知识藏了起来,而不是抹掉:
- 在相关数据上做少量微调,就可能把“被遗忘”的知识找回来。
- 越狱和换一种问法也能把它套出来。
- 2024 年的一项研究发现,只是对做过遗忘的模型进行量化,就恢复了它本该丢掉的大部分内容。
- 遗忘还会造成连带损伤:模型在本该保留的相近话题上变差了。
TOFU(虚构的作者档案)、WMDP(危险知识)和 MUSE 等基准同时测试遗忘效果和保留下来的能力,目前没有哪种方法能在所有方面都得高分。
遗忘与相关概念
- 知识编辑修改某一条具体事实(“现在的 CEO 是 X”)。遗忘则是移除。
- 差分隐私在训练过程中限制模型对任何个人能记住多少,从源头上预防问题。
- 输出过滤器和护栏阻止模型说出某些内容,但不改变它知道什么。
实用建议
如果数据将来可能需要删除,最可靠的设计是不让它进入权重。训练前先过滤训练数据,把会变化或敏感的信息通过 RAG 提供,在那里删掉一份文档就是真的删掉了。把现在的遗忘方法看作降低风险的手段,而不是保证,并在依赖它们之前先做对抗性测试。