Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › Exemplos adversariais
Segurança

Exemplos adversariais

Também conhecido como: Adversarial Examples, Ataque adversarial, Perturbação adversarial
Entradas fabricadas de propósito, muitas vezes com mudanças invisíveis para as pessoas, para fazer um modelo de IA dar uma saída errada ou nociva.

Por que isso importa

Os exemplos adversariais mostraram que a alta precisão de um modelo em dados normais diz pouco sobre como ele se comporta quando alguém está tentando enganá-lo ativamente. Isso é crucial onde quer que a IA tome decisões ligadas à segurança: carros autônomos lendo placas de trânsito, reconhecimento facial, detecção de malware, moderação de conteúdo e detecção de fraude.

Eles não se limitam ao laboratório. Pesquisadores enganaram classificadores de placas com alguns adesivos em uma placa de pare, fabricaram uma tartaruga impressa em 3D que era classificada como rifle de quase qualquer ângulo e criaram estampas impressas capazes de esconder uma pessoa de detectores de objetos.

Com os LLMs, a mesma ideia reaparece na forma de prompts adversariais: sequências de texto otimizadas para quebrar o treinamento de segurança de um modelo.

Em profundidade

Em 2013, pesquisadores descobriram algo inquietante sobre as redes neurais: dava para pegar uma imagem que o modelo classificava corretamente, alterar os pixels em uma quantidade pequena demais para uma pessoa notar e fazer o modelo errar com total confiança. Um exemplo famoso de 2014 mostrava a foto de um panda que, somada a uma camada tênue de ruído calculado com cuidado, era classificada como gibão com 99% de confiança. Para uma pessoa, as duas imagens eram idênticas.

Essas entradas fabricadas são chamadas de exemplos adversariais. Elas funcionam porque os modelos se apoiam em padrões que as pessoas não percebem, e um atacante pode pressionar exatamente esses padrões.

Como os ataques são feitos

  • Ataques de caixa-branca: se você tem os pesos do modelo, pode calcular o gradiente da saída em relação à entrada e empurrar a entrada na direção que mais aumenta o erro. O método FGSM (Fast Gradient Sign Method) faz isso em um único passo; métodos mais fortes, como o PGD, dão muitos passos pequenos.
  • Ataques de caixa-preta: sem os pesos, os atacantes consultam o modelo repetidas vezes, ou fabricam exemplos em um modelo parecido que controlam. Os exemplos adversariais muitas vezes se transferem: o que engana um modelo com frequência engana outros também.
  • Ataques físicos: perturbações pensadas para sobreviver à impressão, a mudanças de iluminação e a diferentes ângulos de visão.

Ataques adversariais contra LLMs

Em 2023, pesquisadores mostraram um método automatizado (muitas vezes chamado de GCG) que busca um sufixo curto de tokens com cara de texto sem sentido que, acrescentado a um pedido nocivo, faz modelos alinhados obedecerem. Os sufixos encontrados em modelos abertos também funcionaram em alguns modelos fechados. Desde então, os ataques foram de tokens otimizados a imagens com instruções ocultas para modelos multimodais. Isso se sobrepõe ao jailbreak e à injeção de prompt, embora esses costumem ser escritos à mão, e não calculados.

Defesas

  • Treinamento adversarial: incluir exemplos adversariais no treinamento para que o modelo aprenda a resistir a eles. É o método geral mais eficaz, mas é caro e pode reduzir a precisão em entradas limpas.
  • Robustez certificada: garantias matemáticas de que nenhuma mudança dentro de uma margem pequena consegue inverter a saída. É forte, mas só é prática para mudanças pequenas e modelos menores.
  • Pré-processamento e detecção de entradas: filtrar ou transformar as entradas para destruir as perturbações. Muitas dessas defesas foram depois quebradas por ataques adaptativos.
  • Projeto do sistema: não deixar que a saída de um único modelo seja a única proteção em decisões de alto risco; combiná-la com outras verificações.

A grande lição

Nenhuma defesa amplamente usada torna os modelos totalmente robustos. Os exemplos adversariais lembram que os modelos veem o mundo de um jeito diferente das pessoas, e que segurança significa testar contra um adversário que pensa, e não só contra dados típicos.

← Todos os termos
ESC