美国国家标准与技术研究院(NIST)的资深科学家 Apostol Vassilev 本周在 IEEE Security & Privacy 上发表了一篇经同行评审的论证,标题刻意带着倦意:《Robust AI Security and Alignment: A Sisyphean Endeavor?》。它的核心主张是一个证明:对放在 AI 模型上的任何有限 guardrails 集合,都存在某个 prompt 让模型无视它们。不是大多数集合,不是今天的集合,而是任何有限集合。这个证明把 Kurt Gödel 在 1931 年发表的逻辑延伸到 AI,他的不完备定理表明,足够强大的形式系统不可能既完备又一致。套用到这里,一个对抗自适应对手的固定规则集有同样的结构性漏洞:总存在一个规则没有预料到的、为真但未被拦截的输入。
理论还配有一个独立的经验同伴。斯坦福的 Trustworthy AI Research Lab 在 NIST 之外测量了围栏在实践中倒下的难易:fine-tuning 攻击在 72% 的情况下绕过了 Claude Haiku,在 57% 的情况下绕过了 GPT-4o。事关重大的 guardrails 是那些有后果的,即本应拦住 deepfakes、malware、生物武器说明和毒品合成指引的过滤器。值得对何为证明、何为测量保持精确:哥德尔式的结果是 Vassilev 关于通用绕过永远存在的形式论证,而百分比是另一个团队对特定攻击今天成功频率的计数。二者不是同一主张,但指向同一方向。
这个方向重新框定了我们昨天报道的一个故事。Anthropic 发布 Claude Fable 5 时打出一个安全卖点:1000 多小时的外部 red-teaming 没有找到通用越狱。NIST 的结果说,没找到越狱不等于不存在越狱,而且这种搜索在结构上永远不会结束。这不是放弃的论证,而是反对一种特定幻想的论证,即认为安全是一堵你只造一次、然后躲在后面的墙。Vassilev 的处方是一个有三个活动部件的持续安全模型:在攻击者之前猎取新对抗 prompt 的 red teams,随发现落地而加固 guardrails 的持续更新,以及假设已被攻破、优先限制损害并快速恢复的运营韧性,当 exploit 穿过时,而不是是否穿过。
对任何交付 agentic 系统的人来说,设计上的后果是具体且略微不适的:为永久的 red-teaming 预算,而不是一次性认证,因为一纸证书描述的是某一刻的围栏,而证明说围栏在每一刻都可被翻越。这也是这一整周不断投下的安全阴影之下的理论地板:LiteLLM gateway 漏洞登上活跃利用清单,只有一小部分 agents 通过基本安全门槛的发现,以及通过拆解发现的 Meta 人脸识别代码。对自适应系统施加静态防御是一台跑步机,不是一道屏障。Vassilev 声明的目标不是刀枪不入,那被证明排除了,而是经济学:达到一个状态,使找到新 exploit 的成本超过攻击者愿意花的代价。安全不再是你拥有的一种属性,而变成一笔你要不断续上的预算。