Cisco最新调查揭示了我们这些构建AI代理的人已经知道的事实:企业安全还没有准备好应对真正能做事的自主AI。这家网络巨头警告说,能够执行实际商业行动的AI代理可能造成"不可逆转的损害",因为当前的访问控制和身份系统不是为以机器速度做决策的非人类参与者设计的。
这不是新技术破坏了工作系统——而是新技术暴露了我们的系统已经有多破损。我在三月份写过企业身份对人类都勉强有效,现在我们却要求它处理可能每分钟在多个系统中执行数百个动作的AI代理。根本问题不在于AI能力;而在于企业构建其安全架构时假设每个行动背后都有一个人在做深思熟虑的选择。
Cisco警告中缺少的是实际现实:公司无论如何都已经在部署这些代理了。选择不是在完美安全和AI代理之间——而是在有适当防护措施的受控部署与完全绕过IT的影子AI实施之间。如果调查数据包含有多少组织已经在生产中运行代理AI(尽管存在这些风险),那会更有价值。
对于构建AI代理的开发者来说,这强化了我们一直在说的关于人在回路设计的观点。解决方案不是阻止AI代理采取行动——而是设计系统,让代理能够在定义的边界内行动,具有回滚能力和清晰的审计跟踪。构建时假设你的安全模型已经被破坏了,因为在大多数企业中,可能确实如此。
