A OpenAI construiu uma IA cuja única função é atacar os próprios modelos da OpenAI, e ela se revelou perturbadoramente boa nisso. Batizado de GPT-Red, o sistema é um red-teamer automatizado que caça vulnerabilidades de injeção de prompt (prompt injection), e nas próprias avaliações da empresa teve sucesso em 84 por cento dos cenários de ataque que nunca havia visto antes, contra apenas 13 por cento dos red-teamers humanos nas mesmas tarefas. A OpenAI usou o que o GPT-Red revelou para reforçar seu modelo GPT-5.6 e, de forma reveladora, decidiu não lançar o atacante de jeito nenhum.

A forma como ele foi construído é uma grande parte da história. O GPT-Red foi treinado por meio de aprendizado por reforço em self-play, um arranjo em que dois lados do mesmo sistema competem e se aprimoram mutuamente. Um modelo atacante gera ataques de injeção de prompt (prompt injection) cada vez mais engenhosos, a técnica de enganar um modelo para que siga instruções escondidas no conteúdo que ele está processando em vez do pedido real do usuário, enquanto um modelo defensor aprende a ignorá-los. Rodada após rodada, os dois ficam mais fortes, e o atacante acaba sondando cantos do comportamento do modelo que testadores humanos talvez nunca pensassem em experimentar.

Os resultados são o ponto central. Com espaço para explorar por conta própria, o GPT-Red descobriu uma classe de ataque que a OpenAI chama de fake chain of thought (falsa cadeia de raciocínio), inserindo passos de raciocínio falsos que o modelo trata como já verificados e, portanto, nos quais confia. Realimentar essas descobertas no treinamento deu resultado de forma mensurável, ataques que funcionavam no antigo GPT-5 em mais de 90 por cento das vezes agora têm sucesso em menos de 23 por cento das vezes contra o GPT-5.6. Em termos simples, o atacante de IA tornou o modelo lançado significativamente mais difícil de sequestrar.

O mais impressionante é a decisão sobre o que não fazer com ele. A OpenAI diz que o GPT-Red não é um produto e não será lançado, e que ele é mantido separado dos modelos que as pessoas realmente usam, para que as capacidades de ataque que ele desenvolve não escapem para o mundo. É uma admissão franca de que uma ferramenta tão boa em quebrar IA é perigosa em mãos erradas, e uma janela clara para o impasse de uso duplo no centro da segurança em IA, a mesma habilidade que conserta um sistema pode ser virada ao contrário para arrombá-lo.

Por que isso importa vai além de um único modelo. A injeção de prompt (prompt injection) está entre os problemas não resolvidos mais perversos do campo, porque agentes que leem seu email, navegam na web ou executam código podem ser sequestrados por instruções escondidas em qualquer coisa que por acaso toquem, e defender-se disso manualmente é uma corrida que os humanos continuam perdendo. O GPT-Red aponta para onde as coisas estão indo, deixando a IA encontrar as falhas da IA mais rápido do que qualquer equipe humana conseguiria e depois incorporando essas lições em defesas mais fortes. Esse é um sinal encorajador de que a corrida armamentista pode ser disputada com força pelo lado defensivo. E também um lembrete de que as ferramentas de segurança mais capazes e as ferramentas de ataque mais capazes são cada vez mais uma só coisa, o que é exatamente a razão pela qual ela está sendo mantida a sete chaves.