YOLO lizenzieren
Zurück zum Ultralytics-Glossar

AI Red Teaming

Beim Red Teaming von KI werden KI-Systeme mit simulierten Angreifern und missbräuchlicher Nutzung konfrontiert, um Jailbreaks, Datenlecks, schädliche Ausgaben und Robustheitsprobleme aufzudecken.

Beim Red Teaming von KI handelt es sich um strukturierte Tests unter gegnerischen Bedingungen. Menschen und automatisierte Werkzeuge schlüpfen dabei in die Rolle von Angreifern oder missbräuchlich Handelnden, um herauszufinden, wie ein System der künstlichen Intelligenz (AI) vor seiner Veröffentlichung zum Versagen gebracht, zur Preisgabe von Daten verleitet oder dazu gebracht werden kann, Schaden anzurichten. Der Begriff stammt aus militärischen Übungen und der Cybersicherheit, wo ein Red Team die Verteidigung einer Organisation angreift. Red Teams für KI prüfen sowohl das Verhalten des Modells als auch die umgebende Software: Lässt sich ein großes Sprachmodell (LLM) dazu verleiten, gefährliche Anweisungen zu geben? Kann ein KI-Agent dazu gebracht werden, seine Werkzeuge missbräuchlich einzusetzen? Lässt sich ein Modell für Computer Vision mit einem Aufkleber täuschen? Nach dem EU AI Act müssen Anbieter von Allzweck-KI-Modellen mit systemischem Risiko ihre Modelle unter gegnerischen Bedingungen testen und die Ergebnisse dokumentieren.

So funktioniert ein Red Team für KI#

Eine Übung beginnt mit einem Bedrohungsmodell: Wer könnte das System angreifen oder missbrauchen, welchen Nutzen könnte die Person daraus ziehen und welche Schäden sind für den Anwendungsbereich am wichtigsten? Anschließend entwickeln die Tester Angriffe, führen sie gegen das Zielsystem aus und bewerten die Reaktionen. Jeder erfolgreiche Angriff wird als Befund dokumentiert und führt zu einer Gegenmaßnahme, etwa zusätzlicher Feinabstimmung, neuen Schutzmaßnahmen für KI oder strengeren Berechtigungen für Werkzeuge. Danach wird das angepasste System erneut angegriffen.

Menschen in Red Teams bringen Kreativität und Fachwissen mit. Forschende von Anthropic veröffentlichten einen Datensatz mit 38.961 Red-Team-Angriffen, die von Crowdworkern gegen Modelle mit 2,7 bis 52 Milliarden Parametern verfasst wurden. Sie stellten fest, dass mit bestärkendem Lernen aus menschlichem Feedback (RLHF) trainierte Modelle mit zunehmender Größe schwerer mit Red Teaming zu prüfen waren, während dies bei den anderen getesteten Modelltypen nicht der Fall war. Automatisierung erweitert die Suche: DeepMind-Forschende verwendeten ein Sprachmodell, um Testfälle für ein anderes zu erzeugen, und entdeckten Zehntausende anstößige Antworten eines Chatbots mit 280 Milliarden Parametern. Open-Source-Werkzeuge wie Microsofts PyRIT und NVIDIAs garak automatisieren Angriffe mit einer oder mehreren Gesprächsrunden und bewerten die Antworten. Die Wissensdatenbank MITRE ATLAS katalogisiert Angreifertaktiken gegen KI-Systeme nach dem Vorbild des ATT&CK-Frameworks.

Wonach Red Teams suchen#

  • Jailbreaks: Prompts, Rollenspiele oder lange Gespräche, durch die ein Modell Inhalte erzeugt, die es laut seinem Sicherheitstraining ablehnen sollte.
  • Prompt-Injection: In Dokumenten, Webseiten, E-Mails oder Bildern versteckte Anweisungen, die eine auf einem LLM basierende Anwendung oder einen Agenten übernehmen.
  • Datenschutzverletzungen: Das Auslesen gespeicherter personenbezogener Daten oder eines verborgenen System-Prompts sowie der Nachweis, dass ein bestimmter Datensatz in den Trainingsdaten enthalten war.
  • Schädliche Verzerrungen: Ausgaben, die Menschen stereotyp darstellen oder Gruppen unterschiedlich behandeln.
  • Halluzinationen: Überzeugt vorgetragene falsche Aussagen in Situationen, in denen Nutzer auf Grundlage der Antwort handeln, etwa bei Rechts- oder Medizinfragen.
  • Gefährliche Fähigkeiten: Sinnvolle Unterstützung bei Cyberangriffen oder der Entwicklung biologischer Waffen, die von Fachleuten geprüft wird, bevor ein Spitzenmodell veröffentlicht wird.

Red Teaming für Bildverarbeitungsmodelle#

Red Teams für Bildverarbeitung suchen nach physischen gegnerischen Angriffen, etwa gedruckten Mustern, die eine Person vor einem Detektor verbergen, nach Beleuchtungs- und Wetterbedingungen, die in den Trainingsdaten nicht vorkommen, und nach Hintertür-Auslösern, die durch Vergiftung von Daten eingeschleust wurden. Eine einfache automatisierte Variante wendet eine Liste von Transformationen auf ein Bild an und kennzeichnet diejenigen, die verändern, was das Modell erkennt. Das folgende Beispiel greift Ultralytics YOLO26 mit simuliertem Nachteinsatz, Nebel, Bewegungsunschärfe und einer auf den Kopf gedrehten Kamera im Vorhersagemodus an. Dieser akzeptiert OpenCV-Bilder direkt und zählt, wie viele Personen das Modell in einer Straßenszene noch erkennt:

import cv2
import numpy as np
from ultralytics import YOLO
from ultralytics.utils import ASSETS

model = YOLO("yolo26n.pt")
image = cv2.imread(str(ASSETS / "bus.jpg"))

# Each attack simulates a condition the detector may meet after deployment
attacks = {
    "original": image,
    "night": cv2.convertScaleAbs(image, alpha=0.2, beta=0),
    "fog": cv2.addWeighted(image, 0.3, np.full_like(image, 220), 0.7, 0),
    "motion blur": cv2.filter2D(image, -1, np.ones((1, 61)) / 61),
    "low resolution": cv2.resize(cv2.resize(image, None, fx=1 / 8, fy=1 / 8), image.shape[1::-1]),
    "upside down": cv2.flip(image, -1),
}

# Count the people YOLO26 still detects under each attack (class 0 is "person")
for name, attacked in attacks.items():
    result = model(attacked, verbose=False)[0]
    print(f"{name}: {int((result.boxes.cls == 0).sum())} people")

In diesem Durchlauf erkennt YOLO26 nachts, im Nebel und bei umgedrehter Kamera weiterhin alle vier Personen. Starke Bewegungsunschärfe senkt die Zahl jedoch auf 2, geringe Auflösung auf 3. Jede Bedingung, bei der die Zahl unter den ursprünglichen Wert fällt, wird als Befund dokumentiert. Abhilfe schaffen Datenerweiterung, die diese Bedingungen beim Training simuliert, neue Trainingsbilder oder eine dokumentierte Einschränkung der Einsatzbereiche des Modells.

Red Teaming für KI überschneidet sich mit mehreren Praktiken, mit denen es häufig verwechselt wird:

  • Penetrationstests: Prüfen Netzwerke und Software auf ausnutzbare Schwachstellen. Red Teaming für KI richtet sich auch gegen das Modellverhalten. Da dieses probabilistisch ist, kann ein Prompt bei einem erneuten Versuch erfolgreich sein, obwohl er zuvor gescheitert ist.
  • Benchmarks: Bewerten ein Modell anhand eines festgelegten Testsatzes. Red Teams suchen offen nach Fehlern; erfolgreiche Angriffe werden häufig zu Testsätzen für spätere Modelle.
  • KI-Sicherheit: Das umfassendere Fachgebiet, das verhindern soll, dass KI-Systeme Schaden anrichten. Dazu zählen neben Red Teaming auch Sicherheitstraining, Interpretierbarkeitsforschung und die Überwachung eingesetzter Systeme.

Das KI-Red-Team von Microsoft fasste seine Erkenntnisse aus dem Red Teaming von über 100 Produkten generativer KI in acht Punkten zusammen. Dazu gehört die Feststellung: „Man muss keine Gradienten berechnen, um ein KI-System zu knacken.“ Einfache Verfahren wie Prompt Engineering funktionierten oft genauso gut wie gradientenbasierte Angriffe, für die vollständiger Zugriff auf das Modell erforderlich ist – etwas, das die meisten kommerziellen KI-Systeme nicht bieten.

Lösungen entdecken

Computer Vision im Sport

Computer Vision im Sport

Entdecke, wie Ultralytics YOLO die Sportbildanalyse voranbringt – mit Spieler- und Ballverfolgung, Leistungsanalysen, Erkenntnissen für das Coaching und der Rehabilitation von Athleten.
Mehr erfahren
Computer Vision für Luftbilder

Computer Vision für Luftbilder

Verwandle Drohnen- und Luftbilder mit Ultralytics YOLO in Echtzeit-Erkenntnisse für Landwirtschaft, Aquakultur, Naturschutz und Geodatenanalyse.
Mehr erfahren
Computer Vision in der Luft- und Raumfahrt

Computer Vision in der Luft- und Raumfahrt

Setze Computer Vision in der Luft- und Raumfahrt mit Ultralytics YOLO ein – für Flugzeuginspektionen, die Erkennung von Fremdkörpern auf Start- und Landebahnen, den Bodenbetrieb am Flughafen und die Erkennung von Verbundwerkstofffehlern.
Mehr erfahren
Computer Vision im Sicherheitsbereich

Computer Vision im Sicherheitsbereich

Schütze jeden Standort mit Ultralytics YOLO-Modellen. Vision-KI ermöglicht die Überwachung von Grundstücksgrenzen, die Erkennung von Bedrohungen, die Kennzeichenerkennung und die Sicherheit am Arbeitsplatz.
Mehr erfahren
Computer Vision in der Robotik

Computer Vision in der Robotik

Mach Maschinen mit Ultralytics YOLO-Modellen leistungsfähiger. Vision-KI in der Robotik ermöglicht autonome Navigation, Wahrnehmung, Objektverfolgung und Steuerung in Echtzeit.
Mehr erfahren
Bildverarbeitung in der Logistik

Bildverarbeitung in der Logistik

Optimiere die Logistik mit Ultralytics YOLO-Modellen. Vision AI ermöglicht die Paketprüfung, Sortierung und Fahrzeugverfolgung sowie die Sicherheitsüberwachung von Lagerhäusern in Echtzeit.
Mehr erfahren
Bildverarbeitung im Einzelhandel

Bildverarbeitung im Einzelhandel

Gestalte den Einzelhandel mit Ultralytics YOLO-Modellen neu. Vision AI ermöglicht Bestandsverfolgung, Regalüberwachung und Warteschlangenmanagement und liefert bessere Einblicke in das Kundenverhalten.
Mehr erfahren
Bildverarbeitung im Gesundheitswesen

Bildverarbeitung im Gesundheitswesen

Entwickle Lösungen für das Gesundheitswesen mit Ultralytics YOLO-Modellen. Vision AI ermöglicht im Gesundheitswesen schnellere medizinische Bildgebung, bessere Diagnostik und die Überwachung von Patienten.
Mehr erfahren
Computer Vision in der Fertigung

Computer Vision in der Fertigung

Optimiere die Fertigung mit Ultralytics-YOLO-Modellen. Vision AI ermöglicht Qualitätskontrolle, Fehlererkennung, die Überprüfung der Einhaltung von Vorgaben zu persönlicher Schutzausrüstung und die Automatisierung von Montagelinien.
Mehr erfahren
Computer Vision in der Automobilbranche

Computer Vision in der Automobilbranche

Setze Computer Vision in der Automobilbranche mit Ultralytics-YOLO-Modellen ein. Vision AI verbessert die Verkehrssicherheit, Fahrerassistenz und Fahrzeugautomatisierung – für intelligentere Straßen.
Mehr erfahren
Computer Vision in der Landwirtschaft

Computer Vision in der Landwirtschaft

Setze mit Ultralytics YOLO-Modellen KI für Bildverarbeitung in der intelligenten Landwirtschaft ein. Ermögliche die Überwachung von Nutzpflanzen, die Verfolgung von Nutztieren und Präzisionslandwirtschaft für höhere und nachhaltigere Erträge.
Mehr erfahren

Lass uns gemeinsam die Zukunft der KI gestalten!

Starte deine Reise in die Zukunft des maschinellen Lernens