O Google DeepMind, junto com a Schmidt Sciences, a agência moonshot do governo do Reino Unido ARIA, a Cooperative AI Foundation e a Google.org, abriu um pool de financiamento de até $10 milhões para pesquisa em segurança de IA multi-agente, e o enquadramento importa tanto quanto o dinheiro. Como o formula Rohin Shah, diretor de segurança AGI e pesquisa de alinhamento na DeepMind, o futuro próximo é um onde milhões de agentes de IA vão interagir através de ambientes digitais, comunicando, negociando e transacionando entre si, muitas vezes recebendo instruções de outros agentes em vez de pessoas. Uma vez que agentes agem sobre as saídas uns dos outros sem humano no loop, argumenta ele, você obtém uma classe de risco inteiramente nova que o trabalho de segurança mono-agente dos últimos dois anos nunca foi construído para cobrir.
Os perigos nomeados abrangem o mundano e o sistêmico. Na ponta concreta: golpes e esquemas de fraude, e prompt injection que transforma um agente em malware autoguiado seguindo instruções enterradas no conteúdo que ele lê. Na ponta de sistema: ciberataques que se propagam de agente a agente, a possibilidade de infraestrutura crítica cair no que Shah chama cruamente de anarquia absoluta, e o risco mais difícil de nomear do comportamento coletivo emergente, capacidades que surgem de agentes interagindo que nenhum deles tinha sozinho. Ele cita o fio duplo diretamente: nossas instituições podem realizar coisas que nenhum humano individual pode, que é exatamente por que uma população de agentes também poderia, para o bem ou para o mal. Shah colocou os cenários de colapso econômico puro fora da janela de seis meses mas dentro do conjunto que vale a pena estudar agora, ao lado de surtos imprevisíveis de atividade econômica e falhas voláteis em escala de rede.
A primeira coisa que o dinheiro compra é a capacidade de estudar qualquer disso, porque a admissão central é impressionante: simplesmente ainda não existe de verdade um campo de pesquisa para a segurança multi-agente. O programa nomeia quatro prioridades. Uma, sandboxes e testbeds, marketplaces virtuais reproduzíveis e ecossistemas simulados onde você pode soltar agentes em escala, já que o comportamento não pode ser previsto a partir de um agente ou um grupo pequeno. Duas, uma ciência de redes de agentes, entender como as capacidades coletivas emergem e detectar propriedades perigosas em nível de população antes de morderem. Três, endurecer a infraestrutura em que os agentes confiam, os protocolos de identidade, reputação e compromisso que deixam os agentes confiarem uns nos outros. Quatro, supervisão e controle, monitorar populações de agentes implantadas e mitigar danos coletivos. As inscrições fecham em 8 de agosto, com concessões esperadas no outono.
Para a picture maior que este newsroom segue rastreando, este é o eixo de segurança chegando, por uma vez, ligeiramente à frente da implantação que o preocupa em vez de limpar depois. Cada história de agent-runtime da última quinzena assumiu o mesmo ponto final, um mundo de muitos agentes interagindo, e o relatório OWASP de hoje mostrou que as defesas por-agente que existem, a lethal trifecta, a Rule of Two, restringem o que um agente comprometido pode alcançar. A preocupação da DeepMind é a camada acima de todas elas: a população. Nenhuma regra por-agente aborda o que um milhão de agentes faz coletivamente, num mercado ou numa rede elétrica, mais rápido do que qualquer humano consegue observar. Essa é a pergunta genuinamente aberta sob toda a construção agêntica, e é Tier-3 no sentido preciso de que abre para algo maior que um produto, a emergência em sistemas que estamos montando antes de entendê-los. Financiar um campo até a existência antes de o seu sujeito chegar de vez é a forma incomum e bem-vinda aqui, e a ressalva honesta está nas próprias palavras da DeepMind: a ciência para responder à pergunta ainda não existe, então por ora a coisa mais verdadeira que alguém pode dizer sobre um mundo de agentes interagindo é que não sabemos.