Licence YOLO
Retour au glossaire Ultralytics

AI Red Teaming

Le red teaming de l’IA soumet les systèmes d’IA à des attaques simulées et à des scénarios d’utilisation abusive pour détecter les jailbreaks, les fuites de données, les sorties nuisibles et les défaillances de robustesse.

L’équipe rouge en IA est une campagne de tests adversariaux structurée dans laquelle des personnes et des outils automatisés jouent le rôle d’attaquants ou d’utilisateurs malveillants pour découvrir comment un système d’intelligence artificielle (AI) peut échouer, divulguer des données ou causer des dommages avant sa mise en service. Le terme vient des exercices militaires et de la cybersécurité, où une équipe rouge attaque les défenses d’une organisation. Les équipes rouges en IA testent aussi bien le comportement du modèle que le logiciel qui l’entoure : peuvent-elles convaincre un grand modèle de langage (LLM) de fournir des instructions dangereuses, détourner un agent d’IA pour qu’il utilise mal ses outils, ou tromper un modèle de vision par ordinateur avec un autocollant ? En vertu du règlement européen sur l’IA, les fournisseurs de modèles d’IA à usage général présentant un risque systémique doivent réaliser et documenter des tests adversariaux de leurs modèles.

Fonctionnement d’une équipe rouge en IA#

Un exercice commence par un modèle de menace : qui pourrait attaquer ou détourner le système, ce que cette personne pourrait en tirer et quels préjudices comptent le plus pour son application. Les testeurs élaborent ensuite des attaques, les exécutent contre la cible et évaluent les réponses. Chaque attaque réussie devient un constat qui alimente une mesure d’atténuation, comme un ajustement fin supplémentaire, de nouvelles mesures de protection de l’IA ou des autorisations d’outils plus strictes. Le système ainsi renforcé est ensuite attaqué à nouveau.

Les membres humains des équipes rouges apportent créativité et expertise sectorielle. Des chercheurs d’Anthropic ont publié un jeu de données de 38 961 attaques d’équipe rouge rédigées par des travailleurs participatifs contre des modèles de 2,7 à 52 milliards de paramètres. Ils ont constaté que les modèles entraînés par apprentissage par renforcement à partir de retours humains (RLHF) devenaient plus difficiles à tester par une équipe rouge à mesure qu’ils grandissaient, contrairement aux autres types de modèles étudiés. L’automatisation élargit le champ de recherche : des chercheurs de DeepMind ont utilisé un modèle de langage pour générer des cas de test pour un autre et découvert des dizaines de milliers de réponses offensantes produites par un agent conversationnel de 280 milliards de paramètres. Des outils open source comme PyRIT de Microsoft et garak de NVIDIA automatisent les attaques à un ou plusieurs tours et évaluent les réponses. La base de connaissances MITRE ATLAS répertorie les tactiques adverses contre les systèmes d’IA selon le modèle du cadre ATT&CK.

Ce que recherchent les équipes rouges#

  • Contournements des garde-fous : invites, jeux de rôle ou longues conversations qui amènent un modèle à produire du contenu que son entraînement de sécurité devrait lui faire refuser.
  • Injection d’invite : instructions cachées dans des documents, des pages web, des courriels ou des images, qui détournent une application ou un agent bâti sur un LLM.
  • Fuites de données personnelles : extraction de données personnelles mémorisées ou d’une invite système cachée, ou démonstration de la présence d’un enregistrement précis dans les données d’entraînement.
  • Biais préjudiciable : sorties qui stéréotypent les personnes ou traitent différemment certains groupes.
  • Hallucinations : affirmations fausses formulées avec assurance dans des situations où les utilisateurs agissent en fonction de la réponse, par exemple pour des questions juridiques ou médicales.
  • Capacités dangereuses : aide concrète à mener des cyberattaques ou à fabriquer des armes biologiques, évaluée par des spécialistes avant la mise en service d’un modèle de pointe.

Tests d’équipe rouge sur les modèles de vision#

Les équipes rouges spécialisées en vision recherchent des attaques adversariales physiques, comme des patchs imprimés qui dissimulent une personne à un détecteur, des conditions d’éclairage et météorologiques absentes des données d’entraînement, ainsi que des déclencheurs de porte dérobée introduits par empoisonnement des données. Une version automatisée simple applique à une image une liste de transformations et signale celles qui modifient la perception du modèle. L’exemple ci-dessous attaque Ultralytics YOLO26 en simulant la nuit, le brouillard, le flou de mouvement et une caméra renversée, via le mode predict, qui accepte directement les images OpenCV, puis compte les personnes encore détectées dans une scène de rue :

import cv2
import numpy as np
from ultralytics import YOLO
from ultralytics.utils import ASSETS

model = YOLO("yolo26n.pt")
image = cv2.imread(str(ASSETS / "bus.jpg"))

# Each attack simulates a condition the detector may meet after deployment
attacks = {
    "original": image,
    "night": cv2.convertScaleAbs(image, alpha=0.2, beta=0),
    "fog": cv2.addWeighted(image, 0.3, np.full_like(image, 220), 0.7, 0),
    "motion blur": cv2.filter2D(image, -1, np.ones((1, 61)) / 61),
    "low resolution": cv2.resize(cv2.resize(image, None, fx=1 / 8, fy=1 / 8), image.shape[1::-1]),
    "upside down": cv2.flip(image, -1),
}

# Count the people YOLO26 still detects under each attack (class 0 is "person")
for name, attacked in attacks.items():
    result = model(attacked, verbose=False)[0]
    print(f"{name}: {int((result.boxes.cls == 0).sum())} people")

Lors de cet essai, YOLO26 trouve toujours les 4 personnes la nuit, dans le brouillard et à l’envers, mais un flou de mouvement prononcé fait tomber le nombre à 2 et une faible résolution à 3. Chaque condition qui réduit le nombre par rapport à l’original devient un constat, auquel on répond par une augmentation des données qui la simule pendant l’entraînement, par de nouvelles images d’entraînement ou par une limite documentée sur les conditions de déploiement du modèle.

Les tests d’équipe rouge en IA recoupent plusieurs pratiques avec lesquelles ils sont souvent confondus :

  • Tests d’intrusion : examinent les réseaux et les logiciels pour trouver des vulnérabilités exploitables. Les tests d’équipe rouge en IA ciblent aussi le comportement du modèle, qui est probabiliste : une invite qui échoue une fois peut réussir lors d’une nouvelle tentative.
  • Benchmarks : évaluent un modèle sur un jeu de test fixe. Les équipes rouges recherchent des défaillances sans se limiter à un ensemble fermé, et leurs attaques réussies deviennent souvent des jeux de test pour les modèles ultérieurs.
  • Sécurité de l’IA : domaine plus vaste qui vise à empêcher les systèmes d’IA de causer des dommages et utilise les tests d’équipe rouge, ainsi que l’entraînement à la sécurité, la recherche en interprétabilité et la surveillance des systèmes déployés.

L’équipe rouge en IA de Microsoft a résumé en huit points ses enseignements tirés des tests d’équipe rouge sur plus de 100 produits d’IA générative. L’un d’eux indique qu’« il n’est pas nécessaire de calculer des gradients pour casser un système d’IA » : des techniques élémentaires comme l’ingénierie d’invites fonctionnaient souvent aussi bien que les attaques fondées sur les gradients, qui nécessitent un accès complet au modèle, rarement proposé par les systèmes d’IA commerciaux.

Découvre les solutions

La vision par ordinateur dans le sport

La vision par ordinateur dans le sport

Découvre comment Ultralytics YOLO propulse la vision par ordinateur dans le sport grâce au suivi des joueurs et du ballon, aux analyses de performance, aux conseils d’entraînement et à la rééducation des athlètes.
En savoir plus
Vision par ordinateur pour les images aériennes

Vision par ordinateur pour les images aériennes

Transforme les images de drones et les images aériennes en informations exploitables en temps réel pour l’agriculture, l’aquaculture, la conservation et l’analyse géospatiale avec Ultralytics YOLO.
En savoir plus
Vision par ordinateur dans l’aérospatiale

Vision par ordinateur dans l’aérospatiale

Applique la vision par ordinateur dans l’aérospatiale avec Ultralytics YOLO pour l’inspection des aéronefs, la détection des corps étrangers sur les pistes, les opérations au sol des aéroports et la détection des défauts des matériaux composites.
En savoir plus
La vision par ordinateur dans la sécurité

La vision par ordinateur dans la sécurité

Protège chaque site avec les modèles Ultralytics YOLO. L’IA visuelle permet la surveillance des périmètres, la détection des menaces, la reconnaissance des plaques d’immatriculation et la sécurité au travail.
En savoir plus
La vision par ordinateur en robotique

La vision par ordinateur en robotique

Donne plus de capacités à tes machines grâce aux modèles Ultralytics YOLO. Dans la robotique, l’IA visuelle permet la navigation autonome, la perception, le suivi des objets et le contrôle en temps réel.
En savoir plus
La vision par ordinateur dans la logistique

La vision par ordinateur dans la logistique

Optimise la logistique avec les modèles Ultralytics YOLO. La vision par IA permet d’inspecter les colis, de les trier, de suivre les véhicules et de surveiller la sécurité des entrepôts en temps réel.
En savoir plus
La vision par ordinateur dans le commerce de détail

La vision par ordinateur dans le commerce de détail

Réinvente le commerce de détail avec les modèles Ultralytics YOLO. La vision par IA permet de suivre les stocks, de surveiller les rayons, de gérer les files d’attente et de mieux comprendre les clients.
En savoir plus
La vision par ordinateur dans le secteur de la santé

La vision par ordinateur dans le secteur de la santé

Crée des solutions de santé avec les modèles Ultralytics YOLO. La vision par IA dans le secteur de la santé accélère l’imagerie médicale, améliore les diagnostics et facilite la surveillance des patients.
En savoir plus
La vision par ordinateur dans l’industrie manufacturière

La vision par ordinateur dans l’industrie manufacturière

Optimise la fabrication avec les modèles Ultralytics YOLO. La vision par IA améliore le contrôle qualité, la détection des défauts, le respect des règles concernant les EPI et l’automatisation des chaînes de montage.
En savoir plus
La vision par ordinateur dans l’automobile

La vision par ordinateur dans l’automobile

Mets la vision par ordinateur au service de l’automobile avec les modèles Ultralytics YOLO. La vision par IA renforce la sécurité routière, l’aide à la conduite et l’automatisation des véhicules pour des routes plus intelligentes.
En savoir plus
Vision par ordinateur dans l’agriculture

Vision par ordinateur dans l’agriculture

Fais entrer l’IA de vision dans l’agriculture intelligente avec les modèles Ultralytics YOLO. Optimise le suivi des cultures et du bétail ainsi que l’agriculture de précision pour obtenir des rendements plus élevés et plus intelligents.
En savoir plus

Construisons ensemble l’avenir de l’IA !

Commence ton parcours vers l’avenir de l’apprentissage automatique