Ejemplos adversarios
Por qué importa
Los ejemplos adversarios mostraron que la alta precisión de un modelo con datos normales dice poco sobre cómo se comporta cuando alguien intenta engañarlo activamente. Eso es crucial allí donde la IA toma decisiones relevantes para la seguridad: autos autónomos que leen señales de tráfico, reconocimiento facial, detección de malware, moderación de contenido y detección de fraude.
No se limitan al laboratorio. Unos investigadores engañaron a clasificadores de señales con unas pocas pegatinas sobre una señal de alto, fabricaron una tortuga impresa en 3D que se clasificaba como un rifle desde casi cualquier ángulo y diseñaron parches impresos capaces de ocultar a una persona ante los detectores de objetos.
Con los LLM, la misma idea reaparece en forma de prompts adversarios: cadenas de texto optimizadas para romper el entrenamiento de seguridad de un modelo.
En profundidad
En 2013, unos investigadores descubrieron algo inquietante sobre las redes neuronales: se podía tomar una imagen que el modelo clasificaba bien, cambiar sus píxeles en una cantidad demasiado pequeña para que una persona lo notara y hacer que el modelo se equivocara con total seguridad. Un ejemplo famoso de 2014 mostraba la foto de un panda que, sumada a una tenue capa de ruido calculado con cuidado, se clasificaba como un gibón con un 99 % de confianza. Para una persona, las dos imágenes eran idénticas.
Estas entradas fabricadas se llaman ejemplos adversarios. Funcionan porque los modelos se apoyan en patrones que las personas no perciben, y un atacante puede presionar justo sobre esos patrones.
Cómo se fabrican los ataques
- Ataques de caja blanca: si tienes los pesos del modelo, puedes calcular el gradiente de su salida respecto a la entrada y empujar la entrada en la dirección que más aumenta el error. El método FGSM (Fast Gradient Sign Method) lo hace en un solo paso; métodos más fuertes, como PGD, dan muchos pasos pequeños.
- Ataques de caja negra: sin los pesos, los atacantes consultan el modelo una y otra vez, o fabrican ejemplos sobre un modelo parecido que controlan. Los ejemplos adversarios a menudo se transfieren: el que engaña a un modelo suele engañar también a otros.
- Ataques físicos: perturbaciones diseñadas para sobrevivir a la impresión, a los cambios de iluminación y a distintos ángulos de visión.
Ataques adversarios contra los LLM
En 2023, unos investigadores mostraron un método automatizado (a menudo llamado GCG) que busca un sufijo corto de tokens con aspecto de galimatías que, añadido a una petición dañina, hace que los modelos alineados cumplan. Los sufijos encontrados en modelos abiertos también funcionaron en algunos modelos cerrados. Desde entonces, los ataques han ido desde tokens optimizados hasta imágenes con instrucciones ocultas para modelos multimodales. Esto se solapa con el jailbreak y la inyección de prompts, aunque estos suelen escribirse a mano en lugar de calcularse.
Defensas
- Entrenamiento adversario: incluir ejemplos adversarios en el entrenamiento para que el modelo aprenda a resistirlos. Es el método general más eficaz, pero es costoso y puede reducir la precisión con entradas limpias.
- Robustez certificada: garantías matemáticas de que ningún cambio dentro de un margen pequeño puede invertir la salida. Es sólida, pero solo resulta práctica con cambios pequeños y modelos más pequeños.
- Preprocesamiento y detección de entradas: filtrar o transformar las entradas para destruir las perturbaciones. Muchas de estas defensas fueron rotas más tarde por ataques adaptativos.
- Diseño del sistema: no dejar que la salida de un solo modelo sea la única salvaguarda de las decisiones de alto riesgo; combinarla con otras comprobaciones.
La gran lección
Ninguna defensa de uso extendido hace que los modelos sean totalmente robustos. Los ejemplos adversarios recuerdan que los modelos ven el mundo de forma distinta a las personas, y que la seguridad consiste en hacer pruebas contra un adversario que piensa, no solo contra datos típicos.