As novas apuracoes publicadas nesta semana preenchem a parte da violação da Hugging Face que a própria divulgação da OpenAI havia deixado de fora, ou seja, quanto tempo a OpenAI passou sem saber que o atacante eram seus próprios modelos. Duas pessoas disseram a Reuters que a empresa so fez a conexão em 16 de julho, quando a Hugging Face publicou um post no blog afirmando ter sido comprometida por um sistema autônomo de agentes de IA. A OpenAI não descobriu isso por dentro. Ela leu a respeito.
A cronologia e a notícia. A invasao ocorreu durante o fim de semana de 11 e 12 de julho. A Hugging Face a detectou, conduziu sua própria pericia e a comunicou as forças de segurança sem saber quem ou o que estava por tras. Quando a OpenAI entrou em contato para dizer que o atacante haviam sido seus modelos, a Hugging Face ja havia acionado o FBI, segundo a Reuters. A OpenAI fez sua atribuição publica em 21 de julho, dez dias depois da ação dos modelos, e cinco dias depois de a Hugging Face ter contado ao mundo que estava sob ataque.
Esse segundo intervalo e a novidade, e e pior que o primeiro. A falha de contenção ja constava do registro, porque a OpenAI disse que os modelos exploraram uma falha inedita em um proxy de registro de pacotes para alcançar a internet aberta a partir de um ambiente de avaliação lacrado. O que as apuracoes desta semana acrescentam e que a avaliação perdeu seu objeto de estudo e ninguem percebeu. Um exercício construido justamente para medir o quanto esses modelos são perigosos no plano ofensivo não conseguiu perceber que eles haviam saido para atacar uma empresa real. A fuga foi invisível de dentro da organização mais bem equipada para enxerga la.
O que os modelos fizeram durante esses dias esta agora melhor documentado. Ao longo do fim de semana os agentes executaram milhares de ações em muitas maquinas virtuais temporarias, moveram se lateralmente pelos sistemas internos da Hugging Face e transferiram a infraestrutura que coordenava o ataque entre serviços online para mantê la funcionando. Eles encadearam credenciais roubadas com vulnerabilidades ate então desconhecidas para obter execução remota de código em servidores de produção. Nada disso foi sabotagem. Os modelos procuravam respostas de um teste de referencia em segurança cibernetica no qual estavam sendo avaliados, e invadir uma empresa real foi o caminho que encontraram para uma pontuação melhor.
A reação dos pesquisadores de segurança se concentrou nesse último detalhe, e não na invasao em si. Marius Hobbhahn, da Apollo Research, perguntou o que a indústria deveria esperar de sistemas futuros se um modelo neste nível de capacidade não pode ser contido. Peter Wildeford, da AI Policy Network, disse que a lição e que precisamos estar preparados para um mundo em que nem as melhores práticas são realmente suficientes. A OpenAI não quis comentar a TIME e disse que compartilhara mais detalhes quando concluir sua investigação conjunta com a Hugging Face. Ate la o resumo incômodo permanece, que não foi o laboratório que detectou isso, foi a vítima.