美國國家標準與技術研究院(NIST)的資深科學家 Apostol Vassilev 本週在 IEEE Security & Privacy 上發表了一篇經同行評審的論證,標題刻意帶著倦意:《Robust AI Security and Alignment: A Sisyphean Endeavor?》。它的核心主張是一個證明:對放在 AI 模型上的任何有限 guardrails 集合,都存在某個 prompt 讓模型無視它們。不是大多數集合,不是今天的集合,而是任何有限集合。這個證明把 Kurt Gödel 在 1931 年發表的邏輯延伸到 AI,他的不完備定理表明,足夠強大的形式系統不可能既完備又一致。套用到這裡,一個對抗自適應對手的固定規則集有同樣的結構性漏洞:總存在一個規則沒有預料到的、為真但未被攔截的輸入。
理論還配有一個獨立的經驗同伴。史丹佛的 Trustworthy AI Research Lab 在 NIST 之外測量了圍欄在實踐中倒下的難易:fine-tuning 攻擊在 72% 的情況下繞過了 Claude Haiku,在 57% 的情況下繞過了 GPT-4o。事關重大的 guardrails 是那些有後果的,即本應攔住 deepfakes、malware、生物武器說明和毒品合成指引的過濾器。值得對何為證明、何為測量保持精確:哥德爾式的結果是 Vassilev 關於通用繞過永遠存在的形式論證,而百分比是另一個團隊對特定攻擊今天成功頻率的計數。二者不是同一主張,但指向同一方向。
這個方向重新框定了我們昨天報導的一個故事。Anthropic 發布 Claude Fable 5 時打出一個安全賣點:1000 多小時的外部 red-teaming 沒有找到通用越獄。NIST 的結果說,沒找到越獄不等於不存在越獄,而且這種搜尋在結構上永遠不會結束。這不是放棄的論證,而是反對一種特定幻想的論證,即認為安全是一堵你只造一次、然後躲在後面的牆。Vassilev 的處方是一個有三個活動部件的持續安全模型:在攻擊者之前獵取新對抗 prompt 的 red teams,隨發現落地而加固 guardrails 的持續更新,以及假設已被攻破、優先限制損害並快速恢復的營運韌性,當 exploit 穿過時,而不是是否穿過。
對任何交付 agentic 系統的人來說,設計上的後果是具體且略微不適的:為永久的 red-teaming 預算,而不是一次性認證,因為一紙證書描述的是某一刻的圍欄,而證明說圍欄在每一刻都可被翻越。這也是這一整週不斷投下的安全陰影之下的理論地板:LiteLLM gateway 漏洞登上活躍利用清單,只有一小部分 agents 通過基本安全門檻的發現,以及通過拆解發現的 Meta 人臉識別代碼。對自適應系統施加靜態防禦是一台跑步機,不是一道屏障。Vassilev 聲明的目標不是刀槍不入,那被證明排除了,而是經濟學:達到一個狀態,使找到新 exploit 的成本超過攻擊者願意花的代價。安全不再是你擁有的一種屬性,而變成一筆你要不斷續上的預算。