一种攻击手段:把恶意样本混入模型的训练数据,以植入隐藏行为或降低模型性能。
为什么重要
LLM 是用从公开网络抓取的海量文本训练的,而任何人都可以往网上发布内容。这意味着原则上任何人都可以尝试影响未来模型学到的东西。研究表明,这比过去以为的更现实:
- 2023 年的一项研究表明,攻击者只需花大约 60 美元,买下数据集仍然指向的过期域名,就能给流行的网络规模图像数据集投毒。
- Anthropic、英国 AI 安全研究所和艾伦·图灵研究所 2025 年的一项研究发现,只需 250 篇被投毒的文档,就能在 6 亿到 130 亿参数的模型里植入后门。所需的数量随着模型和数据集变大而大致保持不变,并不随数据集规模增长。
微调数据、RAG 知识库和共享的开放模型也是目标,所以开发者同样面临这种风险,而不只是大实验室。
深度解析
模型有多可信,取决于它学习的数据有多可信。数据投毒利用的正是这一点:攻击者把精心构造的样本加进训练数据,让训练好的模型按攻击者想要的方式行事。有时目的是让模型整体变差。更多时候是植入后门:模型平时表现正常,直到看见某个特定的触发条件,比如一个罕见的短语,然后去做别的事,比如生成有害内容、泄露数据或写出不安全的代码。
因为触发条件是保密的,带后门的模型可以完美通过普通的测试。
投毒的类型
- 后门:触发条件引发特定行为。Anthropic 2024 年的“Sleeper Agents”(潜伏特工)研究表明,后门行为可以在标准的安全训练之后依然存在。
- 定向投毒:让模型在某一件具体的事情上出错,比如某个品牌、某个人或某段代码。
- 可用性攻击:全面降低模型的质量。
- 艺术家发起的投毒:Nightshade 等工具对图像做细微改动,让未经许可用它们训练的图像模型学到错误的关联。这是把投毒用作一种抗议或保护手段。
不止于预训练
- 微调数据集:共享数据集里少量的坏样本就能教会模型有害的习惯。
- RAG 投毒:在知识库或网络上埋下检索系统会取回的文档。它与间接提示注入密切相关。
- 模型供应链:下载来的模型或适配器可能已经带有后门。使用可信的来源和 safetensors 这类安全的格式。
防御手段
- 数据溯源:弄清训练数据从哪里来,优先使用经过整理的可信来源。
- 过滤和去重:训练前去掉低质量、重复或异常的内容。
- 针对触发条件的评估:用不寻常的输入对模型做红队测试;专门的检测方法会寻找后门的特征信号。
- 对 RAG:控制谁可以写入知识库,并把检索到的内容当作不可信的输入。
- 对微调:审查数据集,尤其是社区贡献的数据集,并在部署前用你的安全检查测试微调后的模型。