Licencia YOLO
Volver al glosario de Ultralytics

AI Red Teaming

El red teaming de IA somete los sistemas de IA a adversarios simulados y usos indebidos para detectar jailbreaks, filtraciones de datos, resultados perjudiciales y fallos de robustez.

El red teaming de IA es una prueba adversaria estructurada en la que personas y herramientas automatizadas adoptan el papel de atacantes o usuarios malintencionados para descubrir cómo se puede hacer que un sistema de inteligencia artificial (IA) falle, filtre datos o cause daños antes de su lanzamiento. El nombre procede de los ejercicios militares y la ciberseguridad, donde un equipo rojo ataca las defensas de una organización. Los equipos rojos de IA prueban tanto el comportamiento del modelo como el software que lo rodea: si se puede convencer a un modelo de lenguaje grande (LLM) para que dé instrucciones peligrosas, si se puede inducir a un agente de IA a usar mal sus herramientas o si se puede engañar con una pegatina a un modelo de visión artificial. En virtud de la Ley de IA de la UE, los proveedores de modelos de IA de propósito general con riesgo sistémico deben realizar y documentar pruebas adversarias de sus modelos.

Cómo funciona un equipo rojo de IA#

El ejercicio parte de un modelo de amenazas: quién podría atacar o usar mal el sistema, qué podría obtener y qué daños son más importantes en su aplicación. A continuación, los evaluadores generan ataques, los ejecutan contra el objetivo y puntúan las respuestas. Cada ataque que tiene éxito se convierte en un hallazgo que da lugar a una medida de mitigación, como un ajuste fino adicional, nuevas barreras de seguridad de IA o permisos más estrictos para las herramientas; después se vuelve a atacar el sistema mitigado.

Los miembros humanos de los equipos rojos aportan creatividad y experiencia en el ámbito. Investigadores de Anthropic publicaron un conjunto de datos de 38 961 ataques de equipos rojos redactados por trabajadores colaborativos contra modelos de entre 2.700 y 52.000 millones de parámetros, y observaron que los modelos entrenados con aprendizaje por refuerzo a partir de comentarios humanos (RLHF) eran más difíciles de someter a pruebas de equipo rojo a medida que crecían, mientras que los otros tipos de modelos que evaluaron no lo eran. La automatización amplía la búsqueda: investigadores de DeepMind utilizaron un modelo de lenguaje para generar casos de prueba para otro y descubrieron decenas de miles de respuestas ofensivas de un chatbot de 280.000 millones de parámetros. Herramientas de código abierto como PyRIT de Microsoft y garak de NVIDIA automatizan ataques de uno o varios turnos y puntúan las respuestas; la base de conocimientos MITRE ATLAS cataloga tácticas adversarias contra sistemas de IA siguiendo el estilo del marco ATT&CK.

Qué buscan los equipos rojos#

  • Saltos de restricciones: indicaciones, juegos de rol o conversaciones largas que hacen que un modelo genere contenido que su entrenamiento de seguridad debería rechazar.
  • Inyección de instrucciones: instrucciones ocultas en documentos, páginas web, correos electrónicos o imágenes que secuestran una aplicación o un agente basado en un LLM.
  • Filtraciones de privacidad: extracción de datos personales memorizados o de una instrucción de sistema oculta, o demostración de que un registro concreto formaba parte del conjunto de entrenamiento.
  • Sesgo perjudicial: respuestas que estereotipan a las personas o tratan de forma diferente a distintos grupos.
  • Alucinaciones: afirmaciones falsas expresadas con seguridad en situaciones en las que los usuarios actúan según la respuesta, como en consultas jurídicas o médicas.
  • Capacidades peligrosas: ayuda significativa para llevar a cabo ciberataques o crear armas biológicas, evaluada por expertos del ámbito antes de publicar un modelo de vanguardia.

Red teaming de modelos de visión#

Los equipos rojos de visión buscan ataques adversarios físicos, como parches impresos que ocultan a una persona ante un detector; condiciones de iluminación y meteorológicas que los datos de entrenamiento nunca contemplaron; e indicadores de puerta trasera introducidos mediante envenenamiento de datos. Una versión automatizada sencilla aplica a una imagen una lista de transformaciones y señala las que cambian lo que ve el modelo. El ejemplo siguiente ataca a Ultralytics YOLO26 con condiciones nocturnas, niebla, desenfoque de movimiento y una cámara invertida simulados, mediante el modo de predicción, que acepta imágenes de OpenCV directamente, y cuenta las personas que sigue detectando en una escena urbana:

import cv2
import numpy as np
from ultralytics import YOLO
from ultralytics.utils import ASSETS

model = YOLO("yolo26n.pt")
image = cv2.imread(str(ASSETS / "bus.jpg"))

# Each attack simulates a condition the detector may meet after deployment
attacks = {
    "original": image,
    "night": cv2.convertScaleAbs(image, alpha=0.2, beta=0),
    "fog": cv2.addWeighted(image, 0.3, np.full_like(image, 220), 0.7, 0),
    "motion blur": cv2.filter2D(image, -1, np.ones((1, 61)) / 61),
    "low resolution": cv2.resize(cv2.resize(image, None, fx=1 / 8, fy=1 / 8), image.shape[1::-1]),
    "upside down": cv2.flip(image, -1),
}

# Count the people YOLO26 still detects under each attack (class 0 is "person")
for name, attacked in attacks.items():
    result = model(attacked, verbose=False)[0]
    print(f"{name}: {int((result.boxes.cls == 0).sum())} people")

En esta ejecución, YOLO26 sigue detectando a las 4 personas de noche, con niebla y con la imagen invertida, pero un desenfoque de movimiento intenso reduce el recuento a 2 y la baja resolución, a 3. Cada condición que reduce el recuento con respecto al original se convierte en un hallazgo, que se aborda con aumento de datos que la simule durante el entrenamiento, nuevas imágenes de entrenamiento o una limitación documentada sobre dónde se despliega el modelo.

El red teaming de IA se solapa con varias prácticas con las que suele confundirse:

  • Pruebas de penetración: analizan redes y software para encontrar vulnerabilidades explotables. El red teaming de IA también se centra en el comportamiento del modelo, que es probabilístico, así que una instrucción que falla una vez puede funcionar al volver a intentarlo.
  • Pruebas de referencia: puntúan un modelo con un conjunto de prueba fijo. Los equipos rojos buscan fallos sin limitarse a un conjunto cerrado, y sus ataques exitosos suelen convertirse en conjuntos de prueba para modelos posteriores.
  • Seguridad de la IA: campo más amplio que busca evitar que los sistemas de IA causen daños y que recurre al red teaming, junto con el entrenamiento de seguridad, la investigación sobre interpretabilidad y la supervisión de sistemas desplegados.

El equipo rojo de IA de Microsoft resumió en ocho puntos sus aprendizajes tras someter a red teaming más de 100 productos de IA generativa, entre ellos que «no hace falta calcular gradientes para romper un sistema de IA»: técnicas básicas como la ingeniería de instrucciones solían funcionar tan bien como los ataques basados en gradientes, que requieren acceso completo al modelo, algo que la mayoría de los sistemas comerciales de IA no ofrece.

Explora las soluciones

Visión artificial en el deporte

Visión artificial en el deporte

Descubre cómo Ultralytics YOLO impulsa la visión artificial en el deporte con el seguimiento de jugadores y balones, analíticas de rendimiento, información útil para entrenadores y rehabilitación de deportistas.
Más información
Visión artificial para imágenes aéreas

Visión artificial para imágenes aéreas

Convierte imágenes aéreas y de drones en información útil en tiempo real para la agricultura, la acuicultura, la conservación y el análisis geoespacial con Ultralytics YOLO.
Más información
Visión artificial en el sector aeroespacial

Visión artificial en el sector aeroespacial

Aplica la visión artificial en el sector aeroespacial con Ultralytics YOLO para inspeccionar aeronaves, detectar objetos extraños en pistas, gestionar operaciones en tierra y detectar defectos en materiales compuestos.
Más información
Visión artificial en seguridad

Visión artificial en seguridad

Protege todas tus instalaciones con los modelos Ultralytics YOLO. La IA visual permite supervisar perímetros, detectar amenazas, reconocer matrículas y mejorar la seguridad laboral.
Más información
Visión artificial en robótica

Visión artificial en robótica

Potencia máquinas más inteligentes con los modelos Ultralytics YOLO. La IA visual en robótica impulsa la navegación autónoma, la percepción, el seguimiento de objetos y el control en tiempo real.
Más información
Visión artificial en logística

Visión artificial en logística

Agiliza la logística con modelos Ultralytics YOLO. La IA visual permite inspeccionar paquetes, clasificarlos, realizar el seguimiento de vehículos y supervisar la seguridad del almacén en tiempo real.
Más información
Visión artificial en el comercio minorista

Visión artificial en el comercio minorista

Reinventa el comercio minorista con modelos Ultralytics YOLO. La IA visual permite realizar el seguimiento del inventario, supervisar estanterías, gestionar colas y obtener información más útil sobre los clientes.
Más información
Visión artificial en el sector sanitario

Visión artificial en el sector sanitario

Desarrolla soluciones sanitarias con modelos Ultralytics YOLO. La IA visual en el sector sanitario permite acelerar el diagnóstico por imagen, mejorar los diagnósticos y supervisar a los pacientes.
Más información
Visión artificial en la fabricación

Visión artificial en la fabricación

Optimiza la fabricación con modelos Ultralytics YOLO. La IA visual mejora el control de calidad, la detección de defectos, el cumplimiento de las normas de uso de EPI y la automatización de las líneas de montaje.
Más información
Visión artificial en la automoción

Visión artificial en la automoción

Aplica la visión artificial al sector de la automoción con modelos Ultralytics YOLO. La IA visual mejora la seguridad vial, la asistencia al conductor y la automatización de vehículos para lograr carreteras más inteligentes.
Más información
Visión artificial en la agricultura

Visión artificial en la agricultura

Incorpora la IA de visión a la agricultura inteligente con modelos Ultralytics YOLO. Impulsa la monitorización de cultivos, el seguimiento del ganado y la agricultura de precisión para obtener cosechas más abundantes e inteligentes.
Más información

¡Construyamos juntos el futuro de la IA!

Inicia tu recorrido hacia el futuro del aprendizaje automático