在 Anthropic 發布 Claude Fable 5、帶著我們曾報導為其最優雅功能的安全設計一天之後,安全研究者正指向那道縫。這個設計就是 graceful capability degradation:與其拒絕一個敏感請求,針對攻擊性 cyber、生化和模型蒸餾的分類器會把會話降到更弱的 Claude Opus 4.8。現在的抱怨不是 guardrails 太弱,而是 cyber 分類器太急切,對普通的防禦性安全工作觸發,並悄悄把以防禦為業的人降級。
例子很具體。IBM X-Force 的安全研究者 Valentina "Chompie" Palmiotti 說 Fable "拒絕任何可能稍微沾點 cyber 的請求。連讀一篇部落格文章這種無害任務都拒。"AI 網路安全新創公司 Tolmo 的 Matt Suiche 說 "如果你讓它寫安全程式碼,它會假定這是網路安全相關工作,而不是軟體工程最佳實踐,"而且連請求一次程式碼審查都會觸發過濾器。Suiche 對機制的診斷是最鋒利的部分:"它似乎是基於關鍵詞的,所以任何落在'網路安全'詞彙場裡的東西都會觸發 guardrails。"當過濾器觸發時,Fable 會暫停並說安全措施因網路安全或生物學話題標記了該訊息,然後降級到 Opus 4.8。Anthropic 沒有立即回應 TechCrunch 的置評請求。
這是路由設計的假陽性代價,而它恰恰落在這套安全論證部分意在賦能的那群人身上。昨天的框定是 graceful degradation 比拒絕更人性,你仍能得到答案,只是來自一個更保守的模型。這道摩擦顯出隱患:降級是無聲且按話題定向的,所以一個提出最難安全問題的防禦者,最有可能在他最想要更強模型的那個話題上,被更弱的模型回答。"安全程式碼"和"攻擊程式碼"落在同一個詞彙場裡,而一個關鍵詞形狀的分類器分不清藍隊和紅隊。
它也從另一側磨利了今早的 NIST 結果。那個證明說沒有任何有限的 guardrails 集合是不可破解的,這會推動把分類器調得更激進。但激進的調校有一個對稱的失敗:過度攔截和攔截不足是同一個旋鈕朝不同方向轉,而你錯誤攔下的正當流量,和你錯誤放行的惡意流量一樣是真實的代價。Suiche 承認意圖是好的,並預計隨著 Anthropic 與網路安全公司合作,guardrails 會"隨時間演進"。在此期間,給在前沿模型上做防禦工作的 builders 的具體提醒則不那麼令人安心:最強的那一檔可能悄悄並不是在回答你安全問題的那一檔,而且因為降級按設計是無聲的,除非你盯著那個標記,否則它發生時不會有人告訴你。