Data Poisoning
El envenenamiento de datos corrompe los datos de entrenamiento de un modelo para implantar puertas traseras, provocar errores dirigidos o reducir la precisión, a menudo con una fracción muy pequeña de ejemplos.
El envenenamiento de datos es un ataque en el que un adversario inserta o modifica datos de entrenamiento para que un modelo de aprendizaje automático aprenda el comportamiento que quiere el atacante: una menor precisión general, predicciones erróneas para entradas elegidas o una puerta trasera oculta que se activa cuando aparece un patrón desencadenante. El ataque tiene lugar antes del entrenamiento, por lo que el modelo envenenado se distribuye sin cambios en el código y suele superar las pruebas habituales. Los modelos entrenados con datos extraídos de la web, aportados por usuarios o comprados a terceros están expuestos; por eso, el Top 10 de OWASP para aplicaciones de LLM incluye el envenenamiento de datos y modelos entre los diez riesgos de las aplicaciones de modelos de lenguaje grandes (LLM).
Tipos de ataques de envenenamiento#
Los ataques se diferencian por el objetivo del atacante y por si los ejemplos envenenados llevan etiquetas incorrectas:
Los ataques contra la disponibilidad insertan ruido o cambian etiquetas para degradar el modelo en todos los casos, por lo que son fáciles de detectar. Los ataques dirigidos y de puerta trasera son más sigilosos porque el modelo se comporta con normalidad ante casi todas las entradas. En BadNets (2017), un clasificador de señales de tráfico aprendió a interpretar como señales de límite de velocidad las señales de stop que llevaban una pequeña pegatina. Los ataques de etiqueta limpia, como el ataque Poison Frogs de Ali Shafahi y sus colaboradores, mantienen todas las etiquetas correctas y, en cambio, modifican las imágenes de forma tan sutil que una persona que revise el conjunto de datos no detecta nada extraño.
Una puerta trasera con pocos ejemplos#
El siguiente ataque envenena el conjunto de datos de dígitos escritos a mano de scikit-learn. Cada copia envenenada de un dígito distinto de cero lleva una marca de tres píxeles en el borde izquierdo y la etiqueta 0; se entrena una máquina de vectores de soporte (SVM) añadiendo 0, 10, 20 y 40 de estas copias a 1257 imágenes limpias de entrenamiento:
import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
x, y = load_digits(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, random_state=0)
trigger = [24, 32, 40] # three pixels on the left edge, almost always blank in real digits
triggered = x_test[y_test != 0].copy()
triggered[:, trigger] = 16
rng = np.random.default_rng(0)
for n_poison in (0, 10, 20, 40):
# Backdoor poisoning: stamp the trigger on copies of other digits and label them 0
poison = x_train[rng.choice(np.flatnonzero(y_train != 0), n_poison, replace=False)].copy()
poison[:, trigger] = 16
model = SVC().fit(np.vstack([x_train, poison]), np.concatenate([y_train, np.zeros(n_poison, int)]))
# Accuracy on clean test digits versus the share of triggered digits read as 0
attack = np.mean(model.predict(triggered) == 0)
print(f"{n_poison} poisoned: clean accuracy {model.score(x_test, y_test):.3f}, attack success {attack:.0%}")La precisión con datos limpios se mantiene en 0,991 en todas las ejecuciones, por lo que un conjunto de validación limpio no muestra indicios del ataque. Mientras tanto, la tasa de éxito del ataque pasa del 0 % al 71 % con 10 imágenes envenenadas, al 97 % con 20 —el 1,6 % del conjunto de entrenamiento— y al 100 % con 40.
Envenenamiento a escala web#
Los conjuntos de datos grandes abaratan el envenenamiento. Nicholas Carlini y sus colaboradores demostraron que envenenar conjuntos de datos de entrenamiento a escala web es viable: conjuntos de datos como LAION-400M distribuyen URL de imágenes en lugar de imágenes, por lo que comprar los dominios caducados a los que apuntan esas URL habría permitido a un atacante controlar el 0,01 % de LAION-400M o COYO-700M por unos 60 $. Otro ataque, la anticipación, consiste en editar páginas colaborativas como Wikipedia justo antes de que una captura programada las registre.
Los LLM necesitan sorprendentemente pocos documentos envenenados. En un estudio de 2025 de Anthropic, el Instituto de Seguridad de la IA del Reino Unido y el Instituto Alan Turing, 250 documentos con el desencadenante <SUDO> seguido de texto ininteligible introdujeron de forma fiable una puerta trasera en modelos de entre 600 millones y 13 000 millones de parámetros, que pasaron a generar texto ininteligible al recibir el desencadenante. El número de documentos necesarios se mantuvo prácticamente constante a medida que crecían los modelos y sus conjuntos de datos; en el modelo más grande, los 250 documentos representaban aproximadamente el 0,00016 % de sus tokens de entrenamiento. El envenenamiento también funciona con imágenes de IA generativa: Nightshade, de la Universidad de Chicago, corrompe un prompt concreto en Stable Diffusion SDXL con menos de 100 imágenes envenenadas, y los artistas lo utilizan para disuadir la extracción no autorizada de sus obras.
Envenenamiento de datos frente a ataques relacionados#
- Ataques adversarios: Alteran las entradas en el momento de la inferencia para engañar a un modelo entrenado con normalidad. El envenenamiento modifica el propio modelo a través de sus datos de entrenamiento.
- Inyección de prompts: Oculta instrucciones en el texto que lee un LLM mientras responde, lo que afecta a una conversación en lugar de a los pesos.
- Agentes durmientes: LLM con puertas traseras que ocultan su comportamiento dañino hasta que se activa. El envenenamiento es una forma de crearlos, y Anthropic demostró que esas puertas traseras pueden sobrevivir al entrenamiento de seguridad.
- Ataques de inferencia de pertenencia: Extraen información de un modelo entrenado sobre sus registros de entrenamiento. El envenenamiento introduce información en el modelo a través de esos registros.
Defensas#
Las defensas empiezan con la procedencia de los datos: saber de dónde procede cada ejemplo y si ha cambiado tras la revisión. Carlini y sus colegas recomiendan distribuir un hash criptográfico con cada URL para que el contenido sustituido después de la selección no supere la verificación. La limpieza de datos elimina duplicados y muestras sospechosas, y la detección de anomalías en las características internas de un modelo entrenado puede sacar a la luz ejemplos envenenados, como ocurre con el método de las firmas espectrales de Brandon Tran, Jerry Li y Aleksander Madry, que identifica ejemplos con puertas traseras como valores atípicos en las representaciones aprendidas. La privacidad diferencial limita cuánto puede cambiar un modelo por un único ejemplo, lo que también acota el efecto de unos pocos ejemplos envenenados, y los sistemas de aprendizaje federado usan una agregación robusta para protegerse de los clientes que envían actualizaciones envenenadas.
En los conjuntos de datos de visión artificial, el seguimiento de cambios detecta manipulaciones entre ejecuciones de entrenamiento. La Ultralytics Platform guarda versiones inmutables de los conjuntos de datos, y Comparar versiones cuenta las imágenes añadidas, eliminadas o modificadas, así como las anotaciones añadidas o eliminadas desde una versión anterior, y muestra cada imagen modificada antes y después con sus etiquetas, de modo que una imagen inyectada o una etiqueta cambiada se detecten antes de la siguiente ejecución de entrenamiento de YOLO26.










