刻意构造的输入,其中的改动往往人眼看不出来,目的是让 AI 模型给出错误或有害的输出。
为什么重要
对抗样本表明,模型在正常数据上的高准确率,几乎说明不了有人主动想骗它时它会怎么表现。凡是由 AI 做出与安全相关决策的地方,这一点都至关重要:读取路牌的自动驾驶汽车、人脸识别、恶意软件检测、内容审核和欺诈检测。
它们并不局限于实验室。研究者在停车标志上贴几张贴纸就骗过了路牌分类器,做出了一只几乎从任何角度都被分类为步枪的 3D 打印乌龟,还设计出能让人在目标检测器面前“隐身”的印刷图案。
到了 LLM 这里,同样的想法以对抗性提示的形式再次出现:为攻破模型的安全训练而优化出来的文本串。
深度解析
2013 年,研究者发现了神经网络一个令人不安的特点:拿一张模型分类正确的图片,把像素改动一点点,小到人根本注意不到,就能让模型信心十足地判断错误。2014 年有个著名的例子:一张熊猫的照片,叠上一层经过精心计算的微弱噪声,就被以 99% 的置信度分类成了长臂猿。在人看来,两张图片一模一样。
这些构造出来的输入叫做对抗样本。它们之所以有效,是因为模型依赖着人察觉不到的模式,而攻击者可以恰好在这些模式上使劲。
攻击是怎么做出来的
- 白盒攻击:如果你有模型的权重,就可以计算输出相对于输入的梯度,把输入朝着最能增大误差的方向推一把。快速梯度符号法(FGSM)一步完成;PGD 等更强的方法则走许多小步。
- 黑盒攻击:没有权重时,攻击者反复查询模型,或者在自己掌控的相似模型上构造样本。对抗样本常常会迁移:能骗过一个模型的样本,往往也能骗过别的模型。
- 物理攻击:专门设计的扰动,经过打印、光照变化和不同视角之后依然有效。
针对 LLM 的对抗攻击
2023 年,研究者展示了一种自动化方法(通常称为 GCG),它搜索一小段看起来像乱码的 token 后缀,把它接在有害请求后面,就能让已对齐的模型照办。在开放模型上找到的后缀,对一些闭源模型也有效。此后,攻击手段从优化出来的 token,扩展到面向多模态模型的、藏有隐藏指令的图片。这与越狱和提示注入有重叠,不过后两者通常是手写的,而不是计算出来的。
防御手段
- 对抗训练:把对抗样本纳入训练,让模型学会抵抗它们。这是最有效的通用方法,但成本高,还可能降低在干净输入上的准确率。
- 可认证鲁棒性:用数学方式保证在一个小范围内的任何改动都无法翻转输出。很强,但只对小幅改动和较小的模型实用。
- 输入预处理和检测:过滤或变换输入以破坏扰动。许多这类防御后来都被自适应攻击攻破了。
- 系统设计:在高风险决策中,不要让单个模型的输出成为唯一的防线;把它和其他检查结合起来。
最大的教训
没有任何被广泛使用的防御能让模型完全鲁棒。对抗样本提醒我们,模型看世界的方式和人不一样,而安全意味着要针对一个会思考的对手做测试,而不只是针对典型数据。