Google DeepMind, junto con Schmidt Sciences, la agencia moonshot del gobierno del Reino Unido ARIA, la Cooperative AI Foundation y Google.org, abrió un pool de financiamiento de hasta $10 millones para investigación en seguridad de IA multi-agente, y el encuadre importa tanto como el dinero. Como lo formula Rohin Shah, director de seguridad AGI e investigación de alineación en DeepMind, el futuro cercano es uno donde millones de agentes de IA interactuarán a través de entornos digitales, comunicándose, negociando y transando entre sí, a menudo tomando instrucciones de otros agentes en vez de de personas. Una vez que los agentes actúan sobre las salidas de los demás sin humano en el loop, argumenta, obtienes una clase de riesgo enteramente nueva que el trabajo de seguridad mono-agente de los últimos dos años nunca fue construido para cubrir.
Los peligros nombrados abarcan lo mundano y lo sistémico. En el extremo concreto: estafas y esquemas de fraude, y prompt injection que convierte a un agente en malware autoguiado siguiendo instrucciones enterradas en el contenido que lee. En el extremo de sistema: ciberataques que se propagan de agente a agente, la posibilidad de que infraestructura crítica caiga en lo que Shah llama crudamente anarquía absoluta, y el riesgo más difícil de nombrar del comportamiento colectivo emergente, capacidades que surgen de agentes interactuando que ninguno tenía solo. Cita el doble filo directamente: nuestras instituciones pueden lograr cosas que ningún humano individual puede, que es exactamente por qué una población de agentes también podría, para bien o para mal. Shah puso los escenarios de colapso económico puro fuera de la ventana de seis meses pero dentro del conjunto que vale la pena estudiar ahora, junto con surges impredecibles de actividad económica y fallas volátiles a escala de red.
Lo primero que el dinero compra es la capacidad de estudiar algo de esto siquiera, porque la admisión central es llamativa: simplemente todavía no hay realmente un campo de investigación para la seguridad multi-agente. El programa nombra cuatro prioridades. Una, sandboxes y testbeds, marketplaces virtuales reproducibles y ecosistemas simulados donde puedes soltar agentes a escala, ya que el comportamiento no puede predecirse desde un agente o un grupo pequeño. Dos, una ciencia de redes de agentes, entender cómo emergen las capacidades colectivas y detectar propiedades peligrosas a nivel de población antes de que muerdan. Tres, endurecer la infraestructura en la que los agentes confían, los protocolos de identidad, reputación y compromiso que dejan a los agentes confiar entre sí. Cuatro, supervisión y control, monitorear poblaciones de agentes desplegadas y mitigar daños colectivos. Las solicitudes cierran el 8 de agosto, con otorgamientos esperados en el otoño.
Para la picture más grande que este newsroom sigue rastreando, este es el eje de seguridad llegando, por una vez, ligeramente adelante del despliegue que le preocupa en vez de limpiar después. Cada historia de agent-runtime de la última quincena asumió el mismo punto final, un mundo de muchos agentes interactuando, y el reporte OWASP de hoy mostró que las defensas por-agente que existen, la lethal trifecta, la Rule of Two, restringen lo que un agente comprometido puede alcanzar. La preocupación de DeepMind es la capa por encima de todas esas: la población. Ninguna regla por-agente aborda lo que un millón de agentes hacen colectivamente, en un mercado o una red eléctrica, más rápido de lo que cualquier humano puede mirar. Esa es la pregunta genuinamente abierta bajo todo el build-out agéntico, y es Tier-3 en el sentido preciso de que abre hacia algo más grande que un producto, la emergencia en sistemas que estamos ensamblando antes de entenderlos. Financiar un campo hacia la existencia antes de que su sujeto llegue del todo es la forma inusual y bienvenida aquí, y la salvedad honesta está en las propias palabras de DeepMind: la ciencia para responder la pregunta todavía no existe, así que por ahora lo más veraz que cualquiera puede decir sobre un mundo de agentes interactuando es que no sabemos.