AI Red Teaming
Le red teaming de l’IA soumet les systèmes d’IA à des attaques simulées et à des scénarios d’utilisation abusive pour détecter les jailbreaks, les fuites de données, les sorties nuisibles et les défaillances de robustesse.
L’équipe rouge en IA est une campagne de tests adversariaux structurée dans laquelle des personnes et des outils automatisés jouent le rôle d’attaquants ou d’utilisateurs malveillants pour découvrir comment un système d’intelligence artificielle (AI) peut échouer, divulguer des données ou causer des dommages avant sa mise en service. Le terme vient des exercices militaires et de la cybersécurité, où une équipe rouge attaque les défenses d’une organisation. Les équipes rouges en IA testent aussi bien le comportement du modèle que le logiciel qui l’entoure : peuvent-elles convaincre un grand modèle de langage (LLM) de fournir des instructions dangereuses, détourner un agent d’IA pour qu’il utilise mal ses outils, ou tromper un modèle de vision par ordinateur avec un autocollant ? En vertu du règlement européen sur l’IA, les fournisseurs de modèles d’IA à usage général présentant un risque systémique doivent réaliser et documenter des tests adversariaux de leurs modèles.
Fonctionnement d’une équipe rouge en IA#
Un exercice commence par un modèle de menace : qui pourrait attaquer ou détourner le système, ce que cette personne pourrait en tirer et quels préjudices comptent le plus pour son application. Les testeurs élaborent ensuite des attaques, les exécutent contre la cible et évaluent les réponses. Chaque attaque réussie devient un constat qui alimente une mesure d’atténuation, comme un ajustement fin supplémentaire, de nouvelles mesures de protection de l’IA ou des autorisations d’outils plus strictes. Le système ainsi renforcé est ensuite attaqué à nouveau.
Les membres humains des équipes rouges apportent créativité et expertise sectorielle. Des chercheurs d’Anthropic ont publié un jeu de données de 38 961 attaques d’équipe rouge rédigées par des travailleurs participatifs contre des modèles de 2,7 à 52 milliards de paramètres. Ils ont constaté que les modèles entraînés par apprentissage par renforcement à partir de retours humains (RLHF) devenaient plus difficiles à tester par une équipe rouge à mesure qu’ils grandissaient, contrairement aux autres types de modèles étudiés. L’automatisation élargit le champ de recherche : des chercheurs de DeepMind ont utilisé un modèle de langage pour générer des cas de test pour un autre et découvert des dizaines de milliers de réponses offensantes produites par un agent conversationnel de 280 milliards de paramètres. Des outils open source comme PyRIT de Microsoft et garak de NVIDIA automatisent les attaques à un ou plusieurs tours et évaluent les réponses. La base de connaissances MITRE ATLAS répertorie les tactiques adverses contre les systèmes d’IA selon le modèle du cadre ATT&CK.
Ce que recherchent les équipes rouges#
- Contournements des garde-fous : invites, jeux de rôle ou longues conversations qui amènent un modèle à produire du contenu que son entraînement de sécurité devrait lui faire refuser.
- Injection d’invite : instructions cachées dans des documents, des pages web, des courriels ou des images, qui détournent une application ou un agent bâti sur un LLM.
- Fuites de données personnelles : extraction de données personnelles mémorisées ou d’une invite système cachée, ou démonstration de la présence d’un enregistrement précis dans les données d’entraînement.
- Biais préjudiciable : sorties qui stéréotypent les personnes ou traitent différemment certains groupes.
- Hallucinations : affirmations fausses formulées avec assurance dans des situations où les utilisateurs agissent en fonction de la réponse, par exemple pour des questions juridiques ou médicales.
- Capacités dangereuses : aide concrète à mener des cyberattaques ou à fabriquer des armes biologiques, évaluée par des spécialistes avant la mise en service d’un modèle de pointe.
Tests d’équipe rouge sur les modèles de vision#
Les équipes rouges spécialisées en vision recherchent des attaques adversariales physiques, comme des patchs imprimés qui dissimulent une personne à un détecteur, des conditions d’éclairage et météorologiques absentes des données d’entraînement, ainsi que des déclencheurs de porte dérobée introduits par empoisonnement des données. Une version automatisée simple applique à une image une liste de transformations et signale celles qui modifient la perception du modèle. L’exemple ci-dessous attaque Ultralytics YOLO26 en simulant la nuit, le brouillard, le flou de mouvement et une caméra renversée, via le mode predict, qui accepte directement les images OpenCV, puis compte les personnes encore détectées dans une scène de rue :
import cv2
import numpy as np
from ultralytics import YOLO
from ultralytics.utils import ASSETS
model = YOLO("yolo26n.pt")
image = cv2.imread(str(ASSETS / "bus.jpg"))
# Each attack simulates a condition the detector may meet after deployment
attacks = {
"original": image,
"night": cv2.convertScaleAbs(image, alpha=0.2, beta=0),
"fog": cv2.addWeighted(image, 0.3, np.full_like(image, 220), 0.7, 0),
"motion blur": cv2.filter2D(image, -1, np.ones((1, 61)) / 61),
"low resolution": cv2.resize(cv2.resize(image, None, fx=1 / 8, fy=1 / 8), image.shape[1::-1]),
"upside down": cv2.flip(image, -1),
}
# Count the people YOLO26 still detects under each attack (class 0 is "person")
for name, attacked in attacks.items():
result = model(attacked, verbose=False)[0]
print(f"{name}: {int((result.boxes.cls == 0).sum())} people")Lors de cet essai, YOLO26 trouve toujours les 4 personnes la nuit, dans le brouillard et à l’envers, mais un flou de mouvement prononcé fait tomber le nombre à 2 et une faible résolution à 3. Chaque condition qui réduit le nombre par rapport à l’original devient un constat, auquel on répond par une augmentation des données qui la simule pendant l’entraînement, par de nouvelles images d’entraînement ou par une limite documentée sur les conditions de déploiement du modèle.
Équipe rouge et pratiques apparentées#
Les tests d’équipe rouge en IA recoupent plusieurs pratiques avec lesquelles ils sont souvent confondus :
- Tests d’intrusion : examinent les réseaux et les logiciels pour trouver des vulnérabilités exploitables. Les tests d’équipe rouge en IA ciblent aussi le comportement du modèle, qui est probabiliste : une invite qui échoue une fois peut réussir lors d’une nouvelle tentative.
- Benchmarks : évaluent un modèle sur un jeu de test fixe. Les équipes rouges recherchent des défaillances sans se limiter à un ensemble fermé, et leurs attaques réussies deviennent souvent des jeux de test pour les modèles ultérieurs.
- Sécurité de l’IA : domaine plus vaste qui vise à empêcher les systèmes d’IA de causer des dommages et utilise les tests d’équipe rouge, ainsi que l’entraînement à la sécurité, la recherche en interprétabilité et la surveillance des systèmes déployés.
L’équipe rouge en IA de Microsoft a résumé en huit points ses enseignements tirés des tests d’équipe rouge sur plus de 100 produits d’IA générative. L’un d’eux indique qu’« il n’est pas nécessaire de calculer des gradients pour casser un système d’IA » : des techniques élémentaires comme l’ingénierie d’invites fonctionnaient souvent aussi bien que les attaques fondées sur les gradients, qui nécessitent un accès complet au modèle, rarement proposé par les systèmes d’IA commerciaux.










