Licencia YOLO
Volver al glosario de Ultralytics

Data Poisoning

El envenenamiento de datos corrompe los datos de entrenamiento de un modelo para implantar puertas traseras, provocar errores dirigidos o reducir la precisión, a menudo con una fracción muy pequeña de ejemplos.

El envenenamiento de datos es un ataque en el que un adversario inserta o modifica datos de entrenamiento para que un modelo de aprendizaje automático aprenda el comportamiento que quiere el atacante: una menor precisión general, predicciones erróneas para entradas elegidas o una puerta trasera oculta que se activa cuando aparece un patrón desencadenante. El ataque tiene lugar antes del entrenamiento, por lo que el modelo envenenado se distribuye sin cambios en el código y suele superar las pruebas habituales. Los modelos entrenados con datos extraídos de la web, aportados por usuarios o comprados a terceros están expuestos; por eso, el Top 10 de OWASP para aplicaciones de LLM incluye el envenenamiento de datos y modelos entre los diez riesgos de las aplicaciones de modelos de lenguaje grandes (LLM).

Tipos de ataques de envenenamiento#

Los ataques se diferencian por el objetivo del atacante y por si los ejemplos envenenados llevan etiquetas incorrectas:

Los ataques contra la disponibilidad insertan ruido o cambian etiquetas para degradar el modelo en todos los casos, por lo que son fáciles de detectar. Los ataques dirigidos y de puerta trasera son más sigilosos porque el modelo se comporta con normalidad ante casi todas las entradas. En BadNets (2017), un clasificador de señales de tráfico aprendió a interpretar como señales de límite de velocidad las señales de stop que llevaban una pequeña pegatina. Los ataques de etiqueta limpia, como el ataque Poison Frogs de Ali Shafahi y sus colaboradores, mantienen todas las etiquetas correctas y, en cambio, modifican las imágenes de forma tan sutil que una persona que revise el conjunto de datos no detecta nada extraño.

Una puerta trasera con pocos ejemplos#

El siguiente ataque envenena el conjunto de datos de dígitos escritos a mano de scikit-learn. Cada copia envenenada de un dígito distinto de cero lleva una marca de tres píxeles en el borde izquierdo y la etiqueta 0; se entrena una máquina de vectores de soporte (SVM) añadiendo 0, 10, 20 y 40 de estas copias a 1257 imágenes limpias de entrenamiento:

import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC

x, y = load_digits(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, random_state=0)
trigger = [24, 32, 40]  # three pixels on the left edge, almost always blank in real digits
triggered = x_test[y_test != 0].copy()
triggered[:, trigger] = 16
rng = np.random.default_rng(0)

for n_poison in (0, 10, 20, 40):
    # Backdoor poisoning: stamp the trigger on copies of other digits and label them 0
    poison = x_train[rng.choice(np.flatnonzero(y_train != 0), n_poison, replace=False)].copy()
    poison[:, trigger] = 16
    model = SVC().fit(np.vstack([x_train, poison]), np.concatenate([y_train, np.zeros(n_poison, int)]))

    # Accuracy on clean test digits versus the share of triggered digits read as 0
    attack = np.mean(model.predict(triggered) == 0)
    print(f"{n_poison} poisoned: clean accuracy {model.score(x_test, y_test):.3f}, attack success {attack:.0%}")

La precisión con datos limpios se mantiene en 0,991 en todas las ejecuciones, por lo que un conjunto de validación limpio no muestra indicios del ataque. Mientras tanto, la tasa de éxito del ataque pasa del 0 % al 71 % con 10 imágenes envenenadas, al 97 % con 20 —el 1,6 % del conjunto de entrenamiento— y al 100 % con 40.

Envenenamiento a escala web#

Los conjuntos de datos grandes abaratan el envenenamiento. Nicholas Carlini y sus colaboradores demostraron que envenenar conjuntos de datos de entrenamiento a escala web es viable: conjuntos de datos como LAION-400M distribuyen URL de imágenes en lugar de imágenes, por lo que comprar los dominios caducados a los que apuntan esas URL habría permitido a un atacante controlar el 0,01 % de LAION-400M o COYO-700M por unos 60 $. Otro ataque, la anticipación, consiste en editar páginas colaborativas como Wikipedia justo antes de que una captura programada las registre.

Los LLM necesitan sorprendentemente pocos documentos envenenados. En un estudio de 2025 de Anthropic, el Instituto de Seguridad de la IA del Reino Unido y el Instituto Alan Turing, 250 documentos con el desencadenante <SUDO> seguido de texto ininteligible introdujeron de forma fiable una puerta trasera en modelos de entre 600 millones y 13 000 millones de parámetros, que pasaron a generar texto ininteligible al recibir el desencadenante. El número de documentos necesarios se mantuvo prácticamente constante a medida que crecían los modelos y sus conjuntos de datos; en el modelo más grande, los 250 documentos representaban aproximadamente el 0,00016 % de sus tokens de entrenamiento. El envenenamiento también funciona con imágenes de IA generativa: Nightshade, de la Universidad de Chicago, corrompe un prompt concreto en Stable Diffusion SDXL con menos de 100 imágenes envenenadas, y los artistas lo utilizan para disuadir la extracción no autorizada de sus obras.

  • Ataques adversarios: Alteran las entradas en el momento de la inferencia para engañar a un modelo entrenado con normalidad. El envenenamiento modifica el propio modelo a través de sus datos de entrenamiento.
  • Inyección de prompts: Oculta instrucciones en el texto que lee un LLM mientras responde, lo que afecta a una conversación en lugar de a los pesos.
  • Agentes durmientes: LLM con puertas traseras que ocultan su comportamiento dañino hasta que se activa. El envenenamiento es una forma de crearlos, y Anthropic demostró que esas puertas traseras pueden sobrevivir al entrenamiento de seguridad.
  • Ataques de inferencia de pertenencia: Extraen información de un modelo entrenado sobre sus registros de entrenamiento. El envenenamiento introduce información en el modelo a través de esos registros.

Defensas#

Las defensas empiezan con la procedencia de los datos: saber de dónde procede cada ejemplo y si ha cambiado tras la revisión. Carlini y sus colegas recomiendan distribuir un hash criptográfico con cada URL para que el contenido sustituido después de la selección no supere la verificación. La limpieza de datos elimina duplicados y muestras sospechosas, y la detección de anomalías en las características internas de un modelo entrenado puede sacar a la luz ejemplos envenenados, como ocurre con el método de las firmas espectrales de Brandon Tran, Jerry Li y Aleksander Madry, que identifica ejemplos con puertas traseras como valores atípicos en las representaciones aprendidas. La privacidad diferencial limita cuánto puede cambiar un modelo por un único ejemplo, lo que también acota el efecto de unos pocos ejemplos envenenados, y los sistemas de aprendizaje federado usan una agregación robusta para protegerse de los clientes que envían actualizaciones envenenadas.

En los conjuntos de datos de visión artificial, el seguimiento de cambios detecta manipulaciones entre ejecuciones de entrenamiento. La Ultralytics Platform guarda versiones inmutables de los conjuntos de datos, y Comparar versiones cuenta las imágenes añadidas, eliminadas o modificadas, así como las anotaciones añadidas o eliminadas desde una versión anterior, y muestra cada imagen modificada antes y después con sus etiquetas, de modo que una imagen inyectada o una etiqueta cambiada se detecten antes de la siguiente ejecución de entrenamiento de YOLO26.

Explora las soluciones

Visión artificial en el deporte

Visión artificial en el deporte

Descubre cómo Ultralytics YOLO impulsa la visión artificial en el deporte con el seguimiento de jugadores y balones, analíticas de rendimiento, información útil para entrenadores y rehabilitación de deportistas.
Más información
Visión artificial para imágenes aéreas

Visión artificial para imágenes aéreas

Convierte imágenes aéreas y de drones en información útil en tiempo real para la agricultura, la acuicultura, la conservación y el análisis geoespacial con Ultralytics YOLO.
Más información
Visión artificial en el sector aeroespacial

Visión artificial en el sector aeroespacial

Aplica la visión artificial en el sector aeroespacial con Ultralytics YOLO para inspeccionar aeronaves, detectar objetos extraños en pistas, gestionar operaciones en tierra y detectar defectos en materiales compuestos.
Más información
Visión artificial en seguridad

Visión artificial en seguridad

Protege todas tus instalaciones con los modelos Ultralytics YOLO. La IA visual permite supervisar perímetros, detectar amenazas, reconocer matrículas y mejorar la seguridad laboral.
Más información
Visión artificial en robótica

Visión artificial en robótica

Potencia máquinas más inteligentes con los modelos Ultralytics YOLO. La IA visual en robótica impulsa la navegación autónoma, la percepción, el seguimiento de objetos y el control en tiempo real.
Más información
Visión artificial en logística

Visión artificial en logística

Agiliza la logística con modelos Ultralytics YOLO. La IA visual permite inspeccionar paquetes, clasificarlos, realizar el seguimiento de vehículos y supervisar la seguridad del almacén en tiempo real.
Más información
Visión artificial en el comercio minorista

Visión artificial en el comercio minorista

Reinventa el comercio minorista con modelos Ultralytics YOLO. La IA visual permite realizar el seguimiento del inventario, supervisar estanterías, gestionar colas y obtener información más útil sobre los clientes.
Más información
Visión artificial en el sector sanitario

Visión artificial en el sector sanitario

Desarrolla soluciones sanitarias con modelos Ultralytics YOLO. La IA visual en el sector sanitario permite acelerar el diagnóstico por imagen, mejorar los diagnósticos y supervisar a los pacientes.
Más información
Visión artificial en la fabricación

Visión artificial en la fabricación

Optimiza la fabricación con modelos Ultralytics YOLO. La IA visual mejora el control de calidad, la detección de defectos, el cumplimiento de las normas de uso de EPI y la automatización de las líneas de montaje.
Más información
Visión artificial en la automoción

Visión artificial en la automoción

Aplica la visión artificial al sector de la automoción con modelos Ultralytics YOLO. La IA visual mejora la seguridad vial, la asistencia al conductor y la automatización de vehículos para lograr carreteras más inteligentes.
Más información
Visión artificial en la agricultura

Visión artificial en la agricultura

Incorpora la IA de visión a la agricultura inteligente con modelos Ultralytics YOLO. Impulsa la monitorización de cultivos, el seguimiento del ganado y la agricultura de precisión para obtener cosechas más abundantes e inteligentes.
Más información

¡Construyamos juntos el futuro de la IA!

Inicia tu recorrido hacia el futuro del aprendizaje automático