Google DeepMind 联合 Schmidt Sciences、英国政府的登月机构 ARIA、Cooperative AI Foundation 和 Google.org,开放了一个最高 1000 万美元的资助池,用于多 agent AI 安全研究,而这一框定与这笔钱同等重要。正如 DeepMind 的 AGI 安全与对齐研究负责人 Rohin Shah 所说,不久的将来是这样一个世界:数百万 AI agent 将在数字环境中互动,彼此通信、协商和交易,往往从其他 agent 而非人那里接受指令。一旦 agent 在没有人类在回路中的情况下根据彼此的输出行动,他论证道,你就得到了一整类全新的风险,而过去两年的单 agent 安全工作从未为覆盖它而构建。
被点名的危险横跨平凡与系统层面。在具体一端:诈骗与欺诈方案,以及把一个 agent 变成自我导引恶意软件、遵循埋在它所读内容里的指令的 prompt injection。在系统一端:在 agent 之间传播的网络攻击,关键基础设施滑入 Shah 直白称为绝对无政府状态的可能,以及更难命名的涌现性集体行为风险,即从 agent 互动中产生、而它们单独都不具备的能力。他直接引用了这把双刃剑:我们的机构能完成任何单个人类都做不到的事,这恰恰是为什么一个 agent 群体也可能,无论好坏。Shah 把纯粹的经济崩溃情景放在六个月窗口之外,但放在如今值得研究的集合之内,与不可预测的经济活动激增和波动的全网故障并列。
这笔钱买到的第一样东西,是研究这其中任何一项的能力本身,因为核心的承认很惊人:多 agent 安全根本还没有真正成为一个研究领域。该计划列出四个优先方向。其一,sandbox 与测试床,即可复现的虚拟市场和模拟生态系统,你可以在其中大规模投放 agent,因为这种行为无法从一个或一小群 agent 预测出来。其二,一门 agent 网络的科学,理解集体能力如何涌现,并在危险的群体层面属性咬人之前检测它们。其三,加固 agent 所依赖的基础设施,即让 agent 彼此信任的身份、声誉与承诺协议。其四,监督与控制,监测已部署的 agent 群体并减轻集体危害。申请于 8 月 8 日截止,预计秋季公布资助。
对于这个 newsroom 持续追踪的更大图景,这是安全这条轴线难得一次稍微赶在它所担忧的部署之前到来,而不是在其后收拾残局。过去两周每一个 agent-runtime 故事都假设了同一个终点,一个许多 agent 互动的世界,而今天的 OWASP 报告表明,现存的按-agent 防御,即致命三角、Rule of Two,约束的是一个被攻陷的 agent 能触及什么。DeepMind 的担忧是所有这些之上的那一层:群体。没有任何按-agent 规则能处理一百万个 agent 在一个市场或一个电网中、以快过任何人能盯住的速度集体做了什么。这才是整个 agentic 建设之下真正开放的问题,而它是 Tier-3 的,正是在它通向某种比产品更大的东西这个精确意义上,即我们在理解之前就在组装的系统中的涌现。在其主题完全到来之前就把一个领域资助到存在,是这里不寻常而可喜的形态,而诚实的注意事项就在 DeepMind 自己的话里:回答这个问题的科学尚不存在,所以就目前而言,任何人关于一个 agent 互动的世界能说的最真实的话,就是我们不知道。