在 Anthropic 发布 Claude Fable 5、带着我们曾报道为其最优雅功能的安全设计一天之后,安全研究者正指向那道缝。这个设计就是 graceful capability degradation:与其拒绝一个敏感请求,针对攻击性 cyber、生化和模型蒸馏的分类器会把会话降到更弱的 Claude Opus 4.8。现在的抱怨不是 guardrails 太弱,而是 cyber 分类器太急切,对普通的防御性安全工作触发,并悄悄把以防御为业的人降级。
例子很具体。IBM X-Force 的安全研究者 Valentina "Chompie" Palmiotti 说 Fable "拒绝任何可能稍微沾点 cyber 的请求。连读一篇博客文章这种无害任务都拒。"AI 网络安全初创公司 Tolmo 的 Matt Suiche 说 "如果你让它写安全代码,它会假定这是网络安全相关工作,而不是软件工程最佳实践,"而且连请求一次代码审查都会触发过滤器。Suiche 对机制的诊断是最锋利的部分:"它似乎是基于关键词的,所以任何落在'网络安全'词汇场里的东西都会触发 guardrails。"当过滤器触发时,Fable 会暂停并说安全措施因网络安全或生物学话题标记了该消息,然后降级到 Opus 4.8。Anthropic 没有立即回应 TechCrunch 的置评请求。
这是路由设计的假阳性代价,而它恰恰落在这套安全论证部分意在赋能的那群人身上。昨天的框定是 graceful degradation 比拒绝更人性,你仍能得到答案,只是来自一个更保守的模型。这道摩擦显出隐患:降级是无声且按话题定向的,所以一个提出最难安全问题的防御者,最有可能在他最想要更强模型的那个话题上,被更弱的模型回答。"安全代码"和"攻击代码"落在同一个词汇场里,而一个关键词形状的分类器分不清蓝队和红队。
它也从另一侧磨利了今早的 NIST 结果。那个证明说没有任何有限的 guardrails 集合是不可破解的,这会推动把分类器调得更激进。但激进的调校有一个对称的失败:过度拦截和拦截不足是同一个旋钮朝不同方向转,而你错误拦下的正当流量,和你错误放行的恶意流量一样是真实的代价。Suiche 承认意图是好的,并预计随着 Anthropic 与网络安全公司合作,guardrails 会"随时间演进"。在此期间,给在前沿模型上做防御工作的 builders 的具体提醒则不那么令人安心:最强的那一档可能悄悄并不是在回答你安全问题的那一档,而且因为降级按设计是无声的,除非你盯着那个标记,否则它发生时不会有人告诉你。