AI Red Teaming
El red teaming de IA somete los sistemas de IA a adversarios simulados y usos indebidos para detectar jailbreaks, filtraciones de datos, resultados perjudiciales y fallos de robustez.
El red teaming de IA es una prueba adversaria estructurada en la que personas y herramientas automatizadas adoptan el papel de atacantes o usuarios malintencionados para descubrir cómo se puede hacer que un sistema de inteligencia artificial (IA) falle, filtre datos o cause daños antes de su lanzamiento. El nombre procede de los ejercicios militares y la ciberseguridad, donde un equipo rojo ataca las defensas de una organización. Los equipos rojos de IA prueban tanto el comportamiento del modelo como el software que lo rodea: si se puede convencer a un modelo de lenguaje grande (LLM) para que dé instrucciones peligrosas, si se puede inducir a un agente de IA a usar mal sus herramientas o si se puede engañar con una pegatina a un modelo de visión artificial. En virtud de la Ley de IA de la UE, los proveedores de modelos de IA de propósito general con riesgo sistémico deben realizar y documentar pruebas adversarias de sus modelos.
Cómo funciona un equipo rojo de IA#
El ejercicio parte de un modelo de amenazas: quién podría atacar o usar mal el sistema, qué podría obtener y qué daños son más importantes en su aplicación. A continuación, los evaluadores generan ataques, los ejecutan contra el objetivo y puntúan las respuestas. Cada ataque que tiene éxito se convierte en un hallazgo que da lugar a una medida de mitigación, como un ajuste fino adicional, nuevas barreras de seguridad de IA o permisos más estrictos para las herramientas; después se vuelve a atacar el sistema mitigado.
Los miembros humanos de los equipos rojos aportan creatividad y experiencia en el ámbito. Investigadores de Anthropic publicaron un conjunto de datos de 38 961 ataques de equipos rojos redactados por trabajadores colaborativos contra modelos de entre 2.700 y 52.000 millones de parámetros, y observaron que los modelos entrenados con aprendizaje por refuerzo a partir de comentarios humanos (RLHF) eran más difíciles de someter a pruebas de equipo rojo a medida que crecían, mientras que los otros tipos de modelos que evaluaron no lo eran. La automatización amplía la búsqueda: investigadores de DeepMind utilizaron un modelo de lenguaje para generar casos de prueba para otro y descubrieron decenas de miles de respuestas ofensivas de un chatbot de 280.000 millones de parámetros. Herramientas de código abierto como PyRIT de Microsoft y garak de NVIDIA automatizan ataques de uno o varios turnos y puntúan las respuestas; la base de conocimientos MITRE ATLAS cataloga tácticas adversarias contra sistemas de IA siguiendo el estilo del marco ATT&CK.
Qué buscan los equipos rojos#
- Saltos de restricciones: indicaciones, juegos de rol o conversaciones largas que hacen que un modelo genere contenido que su entrenamiento de seguridad debería rechazar.
- Inyección de instrucciones: instrucciones ocultas en documentos, páginas web, correos electrónicos o imágenes que secuestran una aplicación o un agente basado en un LLM.
- Filtraciones de privacidad: extracción de datos personales memorizados o de una instrucción de sistema oculta, o demostración de que un registro concreto formaba parte del conjunto de entrenamiento.
- Sesgo perjudicial: respuestas que estereotipan a las personas o tratan de forma diferente a distintos grupos.
- Alucinaciones: afirmaciones falsas expresadas con seguridad en situaciones en las que los usuarios actúan según la respuesta, como en consultas jurídicas o médicas.
- Capacidades peligrosas: ayuda significativa para llevar a cabo ciberataques o crear armas biológicas, evaluada por expertos del ámbito antes de publicar un modelo de vanguardia.
Red teaming de modelos de visión#
Los equipos rojos de visión buscan ataques adversarios físicos, como parches impresos que ocultan a una persona ante un detector; condiciones de iluminación y meteorológicas que los datos de entrenamiento nunca contemplaron; e indicadores de puerta trasera introducidos mediante envenenamiento de datos. Una versión automatizada sencilla aplica a una imagen una lista de transformaciones y señala las que cambian lo que ve el modelo. El ejemplo siguiente ataca a Ultralytics YOLO26 con condiciones nocturnas, niebla, desenfoque de movimiento y una cámara invertida simulados, mediante el modo de predicción, que acepta imágenes de OpenCV directamente, y cuenta las personas que sigue detectando en una escena urbana:
import cv2
import numpy as np
from ultralytics import YOLO
from ultralytics.utils import ASSETS
model = YOLO("yolo26n.pt")
image = cv2.imread(str(ASSETS / "bus.jpg"))
# Each attack simulates a condition the detector may meet after deployment
attacks = {
"original": image,
"night": cv2.convertScaleAbs(image, alpha=0.2, beta=0),
"fog": cv2.addWeighted(image, 0.3, np.full_like(image, 220), 0.7, 0),
"motion blur": cv2.filter2D(image, -1, np.ones((1, 61)) / 61),
"low resolution": cv2.resize(cv2.resize(image, None, fx=1 / 8, fy=1 / 8), image.shape[1::-1]),
"upside down": cv2.flip(image, -1),
}
# Count the people YOLO26 still detects under each attack (class 0 is "person")
for name, attacked in attacks.items():
result = model(attacked, verbose=False)[0]
print(f"{name}: {int((result.boxes.cls == 0).sum())} people")En esta ejecución, YOLO26 sigue detectando a las 4 personas de noche, con niebla y con la imagen invertida, pero un desenfoque de movimiento intenso reduce el recuento a 2 y la baja resolución, a 3. Cada condición que reduce el recuento con respecto al original se convierte en un hallazgo, que se aborda con aumento de datos que la simule durante el entrenamiento, nuevas imágenes de entrenamiento o una limitación documentada sobre dónde se despliega el modelo.
Red teaming frente a prácticas relacionadas#
El red teaming de IA se solapa con varias prácticas con las que suele confundirse:
- Pruebas de penetración: analizan redes y software para encontrar vulnerabilidades explotables. El red teaming de IA también se centra en el comportamiento del modelo, que es probabilístico, así que una instrucción que falla una vez puede funcionar al volver a intentarlo.
- Pruebas de referencia: puntúan un modelo con un conjunto de prueba fijo. Los equipos rojos buscan fallos sin limitarse a un conjunto cerrado, y sus ataques exitosos suelen convertirse en conjuntos de prueba para modelos posteriores.
- Seguridad de la IA: campo más amplio que busca evitar que los sistemas de IA causen daños y que recurre al red teaming, junto con el entrenamiento de seguridad, la investigación sobre interpretabilidad y la supervisión de sistemas desplegados.
El equipo rojo de IA de Microsoft resumió en ocho puntos sus aprendizajes tras someter a red teaming más de 100 productos de IA generativa, entre ellos que «no hace falta calcular gradientes para romper un sistema de IA»: técnicas básicas como la ingeniería de instrucciones solían funcionar tan bien como los ataques basados en gradientes, que requieren acceso completo al modelo, algo que la mayoría de los sistemas comerciales de IA no ofrece.










