Envenenamento de dados
Por que isso importa
Os LLMs são treinados com quantidades enormes de texto coletado da web pública, e qualquer pessoa pode publicar na web. Isso quer dizer que qualquer um poderia, em princípio, tentar influenciar o que os modelos futuros vão aprender. A pesquisa mostrou que isso é mais viável do que se supunha:
- Um estudo de 2023 mostrou que atacantes conseguiam envenenar conjuntos de dados de imagens populares em escala de web por cerca de 60 dólares, comprando domínios expirados para os quais esses conjuntos ainda apontavam.
- Um estudo de 2025 da Anthropic, do AI Security Institute do Reino Unido e do Alan Turing Institute constatou que apenas 250 documentos envenenados bastavam para implantar um backdoor em modelos de 600 milhões a 13 bilhões de parâmetros. A quantidade necessária ficou mais ou menos constante conforme os modelos e os conjuntos de dados cresciam, em vez de aumentar com o tamanho dos dados.
Dados de fine-tuning, bases de conhecimento de RAG e modelos abertos compartilhados também são alvos, então quem constrói enfrenta esse risco, e não só os grandes laboratórios.
Em profundidade
Um modelo é tão confiável quanto os dados com que aprende. O envenenamento de dados explora isso: um atacante acrescenta exemplos cuidadosamente fabricados aos dados de treinamento para que o modelo pronto se comporte como ele quer. Às vezes o objetivo é piorar o modelo de forma geral. Mais frequentemente é um backdoor: o modelo se comporta normalmente até ver um gatilho específico, como uma frase rara, e então faz outra coisa, como produzir conteúdo nocivo, vazar dados ou escrever código inseguro.
Como o gatilho é secreto, um modelo com backdoor consegue passar perfeitamente nos testes comuns.
Tipos de envenenamento
- Backdoors: um gatilho provoca um comportamento específico. A pesquisa "Sleeper Agents" da Anthropic, de 2024, mostrou que comportamentos com backdoor podem sobreviver a um treinamento de segurança padrão.
- Envenenamento direcionado: fazer o modelo errar sobre uma coisa específica, como uma marca, uma pessoa ou um trecho de código.
- Ataques de disponibilidade: piorar a qualidade do modelo em geral.
- Envenenamento feito por artistas: ferramentas como o Nightshade alteram imagens de forma sutil para que modelos de imagem treinados com elas sem permissão aprendam associações erradas. É o envenenamento usado como forma de protesto ou de proteção.
Além do pré-treinamento
- Conjuntos de dados de fine-tuning: um pequeno número de exemplos ruins em um conjunto compartilhado pode ensinar maus hábitos a um modelo.
- Envenenamento de RAG: plantar em uma base de conhecimento ou na web documentos que um sistema de recuperação vai buscar. É muito próximo da injeção de prompt indireta.
- Cadeia de suprimentos de modelos: um modelo ou adaptador baixado pode já vir com backdoor. Use fontes confiáveis e formatos seguros como o safetensors.
Defesas
- Procedência dos dados: saber de onde vêm os dados de treinamento e preferir fontes cuidadas e confiáveis.
- Filtragem e deduplicação: remover conteúdo de baixa qualidade, repetido ou anômalo antes do treinamento.
- Avaliação em busca de gatilhos: fazer red teaming dos modelos com entradas incomuns; há métodos de detecção especializados que procuram assinaturas de backdoor.
- Para RAG: controlar quem pode escrever na base de conhecimento e tratar o conteúdo recuperado como entrada não confiável.
- Para fine-tuning: revisar os conjuntos de dados, principalmente os enviados pela comunidade, e testar o modelo ajustado com suas verificações de segurança antes de implantá-lo.