Manipulación de datos

El envenenamiento de datos es una amenaza para la ciberseguridad en la que los actores maliciosos manipulan intencionadamente los datos de entrenamiento utilizados para crear modelos de aprendizaje automático (ML). Al corromper el conjunto de datos antes de entrenar un modelo, los atacantes pueden introducir puertas traseras ocultas, inducir sesgos o degradar el rendimiento general del modelo. A diferencia de otros exploits de seguridad que se dirigen al código de un sistema, los ataques de envenenamiento de datos se dirigen al propio proceso de aprendizaje, lo que los hace increíblemente difíciles de detect el modelo se implementa en entornos de producción . Según el resumen de inteligencia sobre amenazas de IBM, estos ataques suponen graves riesgos para la integridad y la fiabilidad de los sistemas de inteligencia artificial.

Los mecanismos del envenenamiento de la IA

A medida que las organizaciones recurren cada vez más al aprendizaje profundo (DL) y a los grandes modelos de lenguaje (LLM), a menudo recogen grandes cantidades de datos sin verificar de Internet. Esta práctica da pie a la inyección de datos, en la que los atacantes insertan datos falsos o maliciosos en repositorios públicos. Estudios recientes sobre el envenenamiento de la IA realizados en 2025 revelan una realidad alarmante: incluso en el caso de modelos masivos con miles de millones de parámetros, un atacante solo necesita manipular un número mínimo y casi constante de muestras para comprometer el sistema.

El envenenamiento de los modelos de lenguaje a gran escala (LLM) se produce cuando se introducen frases desencadenantes específicas en los textos que el modelo procesa durante el entrenamiento. Una vez implementado, el modelo puede funcionar con normalidad hasta que un usuario introduce la frase desencadenante, lo que hace que el sistema eluda los protocolos de seguridad o genere resultados nocivos. La investigaciónAnthropic de 2025 sobre el envenenamiento de los LLM demuestra que tan solo 250 documentos envenenados pueden crear una puerta trasera en un modelo de 13 000 millones de parámetros.

Aplicaciones y ejemplos del mundo real

La contaminación de datos va más allá de la generación de texto y afecta en gran medida también a los modelos de visión artificial (CV). A continuación se presentan dos ejemplos concretos de cómo se materializa esta amenaza en aplicaciones del mundo real:

• Alteración de los modelos de arte generativo: Herramientas como el proyecto Nightshade permiten a los artistas digitales alterar sutilmente los píxeles de sus obras antes de subirlas a Internet. Cuando un modelo de IA generativa recopila estas imágenes para su entrenamiento, los píxeles alterados actúan como un veneno, provocando que el modelo clasifique erróneamente las solicitudes por completo, como por ejemplo generar una imagen de un gato cuando se le pide un coche.
• Vulnerabilidad de los vehículos autónomos: En los sistemas de detección de objetos utilizados en los coches autónomos, un atacante podría alterar sutilmente las imágenes de las señales de stop en un conjunto de datos de entrenamiento de código abierto. Al aplicar un ruido visual específico, los datos de entrenamiento contaminados enseñan al modelo a interpretar erróneamente las señales de stop como señales de límite de velocidad, lo que plantea riesgos catastróficos para la seguridad.

Distinción de los ataques adversarios

Aunque están estrechamente relacionados, es importante distinguir el envenenamiento de datos de los ataques adversarios. Los ataques adversarios se producen durante la inferencia: el atacante manipula los datos de entrada (como pegar una pegatina en una señal de stop del mundo real) para engañar a un modelo ya entrenado. Por el contrario, el envenenamiento de datos se produce durante el entrenamiento, alterando de forma fundamental la lógica interna del modelo desde cero. Abordar ambos requiere protocolos sólidos de seguridad de la IA.

Mitigación de riesgos en el desarrollo de modelos

Para defenderse de estas amenazas es necesario llevar a cabo un riguroso seguimiento de los modelos y utilizar datos de validación impecables y fiables con el fin de verificar la integridad de los modelos. Evaluar un modelo con un conjunto de datos verificado puede ayudar a los equipos a detectar caídas inesperadas en el rendimiento que podrían indicar una manipulación. Las prácticas recomendadas descritas por el equipo de investigación en seguridad de OpenAI y el Proyecto de Seguridad GenAI de OWASP hacen hincapié en la estricta trazabilidad de los datos y en el uso de conjuntos de datos seleccionados, en lugar del rastreo web sin filtrar.

A la hora de crear y probar modelos, los equipos deberían aprovechar marcos de trabajo consolidados como PyTorch o TensorFlow junto con rutinas de validación exhaustivas. Puede validar fácilmente su modelo Ultralytics con un conjunto de datos limpio y fiable para asegurarse de que la precisión no se ha visto comprometida.

from ultralytics import YOLO

# Load a custom-trained Ultralytics YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on a trusted dataset to detect performance drops
# Sudden decreases in precision/recall may indicate data poisoning
metrics = model.val(data="clean_validation_data.yaml")

print(f"mAP50-95: {metrics.box.map}")  # Review core metrics

En los proyectos de visión artificial a gran escala, es fundamental realizar un seguimiento de estos parámetros a lo largo de múltiples rondas de entrenamiento. Los desarrolladores pueden analizar la información sobre la evaluación de los modelos para comprender el rendimiento de referencia, y utilizar la Ultralytics para anotar, entrenar y gestionar datos de forma segura sin depender de fuentes externas no verificadas. La combinación de una curación de datos segura con técnicas controladas de aumento de datos ayuda a garantizar que sus modelos sigan siendo precisos y resistentes a la manipulación externa.