Google DeepMind 聯合 Schmidt Sciences、英國政府的登月機構 ARIA、Cooperative AI Foundation 和 Google.org,開放了一個最高 1000 萬美元的資助池,用於多 agent AI 安全研究,而這一框定與這筆錢同等重要。正如 DeepMind 的 AGI 安全與對齊研究負責人 Rohin Shah 所說,不久的將來是這樣一個世界:數百萬 AI agent 將在數字環境中互動,彼此通信、協商和交易,往往從其他 agent 而非人那裡接受指令。一旦 agent 在沒有人類在迴路中的情況下根據彼此的輸出行動,他論證道,你就得到了一整類全新的風險,而過去兩年的單 agent 安全工作從未為覆蓋它而構建。
被點名的危險橫跨平凡與系統層面。在具體一端:詐騙與欺詐方案,以及把一個 agent 變成自我導引惡意軟件、遵循埋在它所讀內容裡的指令的 prompt injection。在系統一端:在 agent 之間傳播的網絡攻擊,關鍵基礎設施滑入 Shah 直白稱為絕對無政府狀態的可能,以及更難命名的湧現性集體行為風險,即從 agent 互動中產生、而它們單獨都不具備的能力。他直接引用了這把雙刃劍:我們的機構能完成任何單個人類都做不到的事,這恰恰是為什麼一個 agent 群體也可能,無論好壞。Shah 把純粹的經濟崩潰情景放在六個月窗口之外,但放在如今值得研究的集合之內,與不可預測的經濟活動激增和波動的全網故障並列。
這筆錢買到的第一樣東西,是研究這其中任何一項的能力本身,因為核心的承認很驚人:多 agent 安全根本還沒有真正成為一個研究領域。該計劃列出四個優先方向。其一,sandbox 與測試床,即可複現的虛擬市場和模擬生態系統,你可以在其中大規模投放 agent,因為這種行為無法從一個或一小群 agent 預測出來。其二,一門 agent 網絡的科學,理解集體能力如何湧現,並在危險的群體層面屬性咬人之前檢測它們。其三,加固 agent 所依賴的基礎設施,即讓 agent 彼此信任的身份、聲譽與承諾協議。其四,監督與控制,監測已部署的 agent 群體並減輕集體危害。申請於 8 月 8 日截止,預計秋季公布資助。
對於這個 newsroom 持續追蹤的更大圖景,這是安全這條軸線難得一次稍微趕在它所擔憂的部署之前到來,而不是在其後收拾殘局。過去兩週每一個 agent-runtime 故事都假設了同一個終點,一個許多 agent 互動的世界,而今天的 OWASP 報告表明,現存的按-agent 防禦,即致命三角、Rule of Two,約束的是一個被攻陷的 agent 能觸及什麼。DeepMind 的擔憂是所有這些之上的那一層:群體。沒有任何按-agent 規則能處理一百萬個 agent 在一個市場或一個電網中、以快過任何人能盯住的速度集體做了什麼。這才是整個 agentic 建設之下真正開放的問題,而它是 Tier-3 的,正是在它通向某種比產品更大的東西這個精確意義上,即我們在理解之前就在組裝的系統中的湧現。在其主題完全到來之前就把一個領域資助到存在,是這裡不尋常而可喜的形態,而誠實的注意事項就在 DeepMind 自己的話裡:回答這個問題的科學尚不存在,所以就目前而言,任何人關於一個 agent 互動的世界能說的最真實的話,就是我們不知道。