Envenenamiento de datos
Por qué importa
Los LLM se entrenan con cantidades enormes de texto recogido de la web pública, y cualquiera puede publicar en la web. Eso significa que cualquiera podría, en principio, intentar influir en lo que aprenderán los modelos futuros. La investigación ha mostrado que es más viable de lo que se suponía:
- Un estudio de 2023 mostró que unos atacantes podían envenenar conjuntos de datos de imágenes populares a escala web por unos 60 dólares, comprando dominios caducados a los que esos conjuntos seguían apuntando.
- Un estudio de 2025 de Anthropic, el AI Security Institute del Reino Unido y el Alan Turing Institute encontró que bastaban 250 documentos envenenados para implantar una puerta trasera en modelos de 600 millones a 13 mil millones de parámetros. La cantidad necesaria se mantuvo más o menos constante al crecer los modelos y los conjuntos de datos, en lugar de aumentar con el tamaño de los datos.
Los datos de fine-tuning, las bases de conocimiento de RAG y los modelos abiertos compartidos también son objetivos, así que este riesgo afecta a quienes construyen, no solo a los grandes laboratorios.
En profundidad
Un modelo es tan fiable como los datos con los que aprende. El envenenamiento de datos se aprovecha de eso: un atacante añade ejemplos cuidadosamente fabricados a los datos de entrenamiento para que el modelo terminado se comporte como él quiere. A veces el objetivo es empeorar el modelo en general. Más a menudo es una puerta trasera (backdoor): el modelo se comporta con normalidad hasta que ve un disparador concreto, como una frase poco común, y entonces hace otra cosa, como producir contenido dañino, filtrar datos o escribir código inseguro.
Como el disparador es secreto, un modelo con puerta trasera puede pasar perfectamente las pruebas normales.
Tipos de envenenamiento
- Puertas traseras: un disparador provoca un comportamiento concreto. La investigación «Sleeper Agents» de Anthropic en 2024 mostró que los comportamientos con puerta trasera pueden sobrevivir a un entrenamiento de seguridad estándar.
- Envenenamiento dirigido: hacer que el modelo se equivoque en una cosa concreta, como una marca, una persona o un fragmento de código.
- Ataques de disponibilidad: degradar la calidad del modelo en general.
- Envenenamiento impulsado por artistas: herramientas como Nightshade alteran sutilmente las imágenes para que los modelos de imagen que se entrenan con ellas sin permiso aprendan asociaciones equivocadas. Es el envenenamiento usado como forma de protesta o de protección.
Más allá del preentrenamiento
- Conjuntos de datos de fine-tuning: unos pocos ejemplos malos en un conjunto compartido pueden enseñarle malas costumbres a un modelo.
- Envenenamiento de RAG: plantar en una base de conocimiento o en la web documentos que un sistema de recuperación va a traer. Está muy relacionado con la inyección de prompts indirecta.
- Cadena de suministro de modelos: un modelo o un adaptador descargado puede venir ya con una puerta trasera. Usa fuentes de confianza y formatos seguros como safetensors.
Defensas
- Procedencia de los datos: saber de dónde vienen los datos de entrenamiento y preferir fuentes cuidadas y de confianza.
- Filtrado y deduplicación: eliminar el contenido de baja calidad, repetido o anómalo antes de entrenar.
- Evaluación en busca de disparadores: hacer red teaming de los modelos con entradas inusuales; hay métodos de detección especializados que buscan firmas de puertas traseras.
- Para RAG: controlar quién puede escribir en la base de conocimiento y tratar el contenido recuperado como una entrada no confiable.
- Para el fine-tuning: revisar los conjuntos de datos, sobre todo los aportados por la comunidad, y probar el modelo ajustado con tus controles de seguridad antes de desplegarlo.