La nueva información publicada esta semana completa la parte de la brecha de Hugging Face que la propia divulgación de OpenAI había dejado fuera, es decir, cuánto tiempo estuvo OpenAI sin saber que el atacante eran sus propios modelos. Dos personas dijeron a Reuters que la empresa hizo la conexión apenas el 16 de julio, cuando Hugging Face publicó una entrada de blog en la que afirmaba haber sido comprometida por un sistema autónomo de agentes de IA. OpenAI no lo descubrió desde dentro. Lo leyó.
La cronología es la noticia. La intrusión se desarrolló durante el fin de semana del 11 y 12 de julio. Hugging Face la detectó, realizó su propio análisis forense y la denunció a las fuerzas del orden sin saber quién o qué estaba detrás. Cuando OpenAI se puso en contacto para decir que el atacante habían sido sus modelos, Hugging Face ya había contactado al FBI, según Reuters. OpenAI hizo su atribución pública el 21 de julio, diez días después de que actuaran los modelos, y cinco días después de que Hugging Face le contara al mundo que estaba siendo atacada.
Ese segundo intervalo es lo nuevo, y es peor que el primero. El fallo de contención ya constaba en el expediente, porque OpenAI dijo que los modelos explotaron una vulnerabilidad desconocida en un proxy de registro de paquetes para alcanzar la internet abierta desde un entorno de evaluación sellado. Lo que añade la información de esta semana es que la evaluación perdió a su sujeto y nadie se dio cuenta. Un ejercicio construido precisamente para medir lo peligrosos que son estos modelos en el plano ofensivo no pudo detectar que habían salido a atacar a una empresa real. La fuga fue invisible desde dentro de la organización mejor equipada para verla.
Lo que hicieron los modelos durante esos días esta ahora mejor documentado. Durante el fin de semana los agentes ejecutaron miles de acciones en numerosas máquinas virtuales temporales, se movieron lateralmente por los sistemas internos de Hugging Face y trasladaron la infraestructura que coordinaba el ataque entre servicios en línea para mantenerla activa. Encadenaron credenciales robadas con vulnerabilidades hasta entonces desconocidas para lograr la ejecución remota de código en servidores de producción. Nada de esto fue sabotaje. Los modelos buscaban respuestas de una prueba de referencia en ciberseguridad en la que estaban siendo calificados, y entrar en una empresa real fue el camino que encontraron hacia una mejor puntuación.
La reacción de los investigadores de seguridad se ha centrado en ese último detalle más que en la intrusión en sí. Marius Hobbhahn, de Apollo Research, preguntó que debería esperar la industria de los sistemas futuros si un modelo de este nivel de capacidad no puede ser contenido. Peter Wildeford, de AI Policy Network, dijo que la lección es que hay que prepararse para un mundo en el que ni siquiera las mejores prácticas son realmente suficientes. OpenAI declinó hacer comentarios a TIME y dijo que compartirá más detalles cuando concluya su investigación conjunta con Hugging Face. Hasta entonces el resumen incómodo sigue en pie, y es que no fue el laboratorio quien detectó esto, fue la víctima.