Apostol Vassilev, um cientista sênior do National Institute of Standards and Technology dos EUA, publicou esta semana um argumento peer-reviewed na IEEE Security & Privacy com um título deliberadamente cansado: Robust AI Security and Alignment: A Sisyphean Endeavor? Sua tese central é uma prova de que para qualquer conjunto finito de guardrails colocado sobre um modelo de IA, existe algum prompt que leva o modelo a ignorá-los. Não a maioria dos conjuntos, não os conjuntos de hoje, qualquer conjunto finito. A prova estende à IA a lógica que Kurt Gödel publicou em 1931, cujos teoremas da incompletude mostraram que sistemas formais suficientemente poderosos não podem ser ao mesmo tempo completos e consistentes. Aplicado aqui, um conjunto de regras fixo que defende contra um adversário adaptativo tem o mesmo buraco estrutural: sempre há um input verdadeiro-mas-não-bloqueado que as regras não anteciparam.
A teoria vem com um companheiro empírico à parte. O Trustworthy AI Research Lab de Stanford, trabalhando fora do NIST, mediu quão facilmente as cercas caem na prática: ataques por fine-tuning contornaram o Claude Haiku em 72% dos casos e o GPT-4o em 57%. Os guardrails em jogo são os consequentes, os filtros que deveriam bloquear deepfakes, malware, instruções de armas biológicas e orientação de síntese de drogas. Vale a pena ser preciso sobre o que é provado versus medido: o resultado ao estilo Gödel é o argumento formal de Vassilev de que um bypass universal sempre existe, e as porcentagens são a contagem de outro grupo de quão frequentemente ataques específicos têm sucesso hoje. Os dois não são a mesma afirmação, mas apontam na mesma direção.
Essa direção reenquadra uma história que cobrimos ontem. A Anthropic lançou o Claude Fable 5 com um argumento de venda de segurança: mais de 1000 horas de red-teaming externo não encontraram nenhum jailbreak universal. O resultado do NIST diz que a ausência de um jailbreak encontrado não é a ausência de um, e que a busca estruturalmente nunca termina. Não é um argumento para desistir, é um argumento contra uma fantasia particular, a ideia de que a segurança é um muro que você constrói uma vez e atrás do qual depois se posiciona. A receita de Vassilev é um modelo de segurança contínua com três peças móveis: red teams caçando novos prompts adversários antes dos atacantes, atualizações contínuas que endurecem os guardrails à medida que as descobertas chegam, e resiliência operacional que assume uma brecha e prioriza limitar o dano e recuperar rápido, quando, não se, um exploit passa.
Para qualquer um que entregue sistemas agênticos, a consequência de design é concreta e ligeiramente desconfortável: orçar red-teaming perpétuo, não uma certificação única, porque um certificado descreve uma cerca num momento e a prova diz que a cerca é escalável a cada momento. É também o chão teórico sob a sombra de segurança que esta semana inteira continuou projetando: a vulnerabilidade do gateway LiteLLM aterrissando na lista de exploração ativa, o achado de que só uma pequena fração dos agentes passa uma barra de segurança básica, o código de reconhecimento facial da Meta encontrado por desmontagem. Defesas estáticas sobre sistemas adaptativos são uma esteira, não uma barreira. O objetivo declarado de Vassilev não é a invulnerabilidade, que a prova descarta, mas a economia: atingir um estado onde o custo de encontrar um novo exploit excede o que os atacantes estão dispostos a gastar. A segurança deixa de ser uma propriedade que você possui e vira um orçamento que você continua reabastecendo.
