Cisco最新調查揭示了我們這些建構AI代理的人早已知道的事實:企業安全還沒準備好應對真正能做事的自主AI。這家網路巨擘警告說,能夠執行實際商業行動的AI代理可能造成「不可逆轉的損害」,因為目前的存取控制和身分系統並非為以機器速度做決策的非人類參與者設計。

這不是新技術破壞了運作中的系統——而是新技術暴露了我們的系統早已有多破損。我在三月份寫過企業身分對人類都勉強有效,現在我們卻要求它處理可能每分鐘在多個系統中執行數百個動作的AI代理。根本問題不在於AI能力;而在於企業建構其安全架構時假設每個行動背後都有人在做深思熟慮的選擇。

Cisco警告中缺少的是實際現實:公司無論如何都已經在部署這些代理了。選擇不是在完美安全和AI代理之間——而是在有適當防護措施的受控部署與完全繞過IT的影子AI實施之間。如果調查數據包含有多少組織已經在生產環境中運行代理AI(儘管存在這些風險),那會更有價值。

對於建構AI代理的開發者來說,這強化了我們一直在說的關於人在迴路設計的觀點。解決方案不是阻止AI代理採取行動——而是設計系統,讓代理能夠在定義的邊界內行動,具有回復能力和清楚的稽核軌跡。建構時假設你的安全模型已經被破壞了,因為在大多數企業中,可能確實如此。