Adversarial Attacks

Adversarial-Angriffe sind absichtliche Manipulationen der Eingabe eines maschinellen Lernmodells (ML), die zu einer falschen Ausgabe führen, meist mit hoher Konfidenz. Bei Computer Vision kann sich die manipulierte Eingabe, ein sogenanntes adversariales Beispiel, so wenig vom Original unterscheiden, dass ein Mensch die Veränderung nicht bemerkt. Dennoch meldet ein Klassifikator, der einen Panda erkannt hat, nun einen Gibbon. Forschende beschrieben das Phänomen bei tiefen neuronalen Netzen 2013 in der Arbeit „Faszinierende Eigenschaften neuronaler Netze“. Dieselbe Schwachstelle findet sich bei der Spracherkennung, der Malware-Erkennung und großen Sprachmodellen (LLMs). Adversarial-Angriffe sind besonders relevant, wenn eine Modellentscheidung eine Handlung auslöst, etwa das Bremsen eines Autos, das Entriegeln einer Tür oder die Genehmigung einer Transaktion.

So funktionieren adversariale Beispiele#

Die Verlustfunktion eines trainierten Modells misst, wie falsch es bei einer Eingabe liegt. Bei der Rückpropagierung werden normalerweise die Gradienten dieses Verlusts in Bezug auf die Gewichte berechnet. Ein Angreifer berechnet sie stattdessen in Bezug auf die Eingabepixel und verändert die Pixel in Richtung eines größeren Verlusts. In „Adversariale Beispiele erklären und nutzen“ (2014) argumentierten Ian Goodfellow und seine Kolleginnen und Kollegen, die Ursache sei das weitgehend lineare Verhalten neuronaler Netze in hohen Dimensionen: Eine Veränderung um den Bruchteil eines Graustufenwerts pro Pixel summiert sich über Hunderttausende von Pixeln zu einer großen Änderung der Ausgabe. Die Fast Gradient Sign Method (FGSM) führt einen Schritt fester Größe entlang des Vorzeichens des Eingabegradienten aus. Ein Schritt von 0.007 verwandelte eine Vorhersage „Panda“ mit 57,7 % Konfidenz in eine Vorhersage „Gibbon“ mit 99,3 %. Projected Gradient Descent (PGD) wiederholt kleinere Schritte und hält die Gesamtveränderung innerhalb eines festgelegten Grenzwerts, wodurch der Angriff wirksamer wird.

FGSM gegen einen ResNet-18-Klassifikator aus TorchVision benötigt einen einzigen Rückwärtsdurchlauf:

import torch
import torch.nn.functional as F
from torchvision.io import decode_image
from torchvision.models import ResNet18_Weights, resnet18
from torchvision.transforms import v2

weights = ResNet18_Weights.DEFAULT
model = resnet18(weights=weights).eval()
torch.hub.download_url_to_file("https://ultralytics.com/images/bus.jpg", "bus.jpg")

# Keep pixels in [0, 1] and normalize inside each forward pass, so the attack edits real pixel values
image = v2.Compose([v2.Resize(256), v2.CenterCrop(224), v2.ToDtype(torch.float32, scale=True)])(decode_image("bus.jpg"))
normalize = v2.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
x = image.unsqueeze(0).requires_grad_(True)
logits = model(normalize(x))

# FGSM: move every pixel by one intensity level (1/255) in the direction that increases the loss
F.cross_entropy(logits, logits.argmax(1)).backward()
x_adv = (x + x.grad.sign() / 255).clamp(0, 1)

for name, batch in [("clean", x), ("adversarial", x_adv)]:
    probs = model(normalize(batch)).softmax(1)
    print(f"{name}: {weights.meta['categories'][probs.argmax()]} ({probs.max():.2f})")

Das unveränderte Bild wird als minibus (0.83), das angegriffene als police van (0.94) klassifiziert: Wenn jedes Pixel um höchstens eine von 255 Intensitätsstufen verändert wird, ist das Modell von einem neuen, falschen Label überzeugter als zuvor von seinem ursprünglichen Label.

Arten von Angriffen#

Angriffe werden danach eingeteilt, wann der Angreifer handelt, was er über das Modell weiß und was er erreichen will. Ein nicht zielgerichteter Angriff zielt auf irgendeine falsche Ausgabe ab; ein zielgerichteter Angriff erzwingt eine bestimmte Ausgabe, etwa indem ein Stoppschild als Tempolimit-Schild erkannt wird. Bei digitalen Angriffen werden die Eingabedaten direkt verändert, während physische Angriffe reale Objekte mit Aufklebern, Flicken oder gedruckten Mustern verändern, die Änderungen des Blickwinkels, der Entfernung und der Beleuchtung standhalten. Die Taxonomie des adversarialen maschinellen Lernens des NIST ordnet Angriffe nach der Phase des ML-Lebenszyklus, auf die sie abzielen:

Transferangriffe funktionieren, weil adversariale Beispiele, die gegen ein Modell erstellt wurden, oft auch andere Modelle täuschen, die für dieselbe Aufgabe trainiert wurden. Ein Angreifer kann daher ein Ersatzmodell trainieren, es im White-Box-Modus angreifen und das Ergebnis gegen ein System einsetzen, das er nicht untersuchen kann.

Risiken in der Praxis#

• Autonome Fahrzeuge: In „Robuste Angriffe auf Deep-Learning-Modelle in der physischen Welt“ führten schwarze und weiße Aufkleber auf einem echten Stoppschild in 100 % der Laborbilder und 84,8 % der Videoeinzelbilder, die aus einem fahrenden Auto aufgenommen wurden, zu einer gezielten Fehlklassifizierung.
• Personenerkennung: Ein etwa 40 cm großes, vor dem Körper gehaltenes Druckbild senkte die Genauigkeit des YOLOv2-Personendetektors, für den es optimiert worden war, deutlich. Solche Druckbilder bedrohen Alarmsysteme, die bei erkannten Personen ausgelöst werden, etwa das Ultralytics-Sicherheitsalarmsystem, das eine E-Mail-Benachrichtigung sendet, wenn YOLO26 eine festgelegte Anzahl von Objekten in einem Bildausschnitt erkennt. Ein Druckbild, das die Personenerkennung unterdrückt, unterdrückt auch den Alarm.
• Gesichtserkennung: Forschende druckten Brillengestelle mit adversarialen Mustern, die es den Trägerinnen und Trägern ermöglichten, einem Gesichtserkennungssystem zu entgehen oder als eine bestimmte andere Person identifiziert zu werden.
• Sprachmodelle: Automatisch optimierte adversariale Suffixe, also Zeichenfolgen aus Tokens, die an eine Anfrage angehängt werden, brachten ausgerichtete Chatbots dazu, schädlichen Anfragen nachzukommen. Auf offenen Modellen optimierte Suffixe ließen sich auch auf kommerzielle Modelle übertragen. Von Hand erstellte Angriffe auf LLMs sind besser als Jailbreaking und Prompt Injection bekannt.

Adversariale Angriffe und verwandte Begriffe#

• Datenvergiftung: Verfälscht die Trainingsdaten, sodass sich das trainierte Modell falsch verhält, oft nur bei Eingaben mit einem verborgenen Auslöser. Adversariale Beispiele im engeren Sinne lassen das Modell unverändert und manipulieren Eingaben zur Inferenzzeit.
• Angriffe zur Mitgliedschaftsinferenz: Sollen Informationen extrahieren, nämlich ob ein Datensatz im Trainingssatz enthalten war, statt eine falsche Ausgabe zu verursachen.
• Generative gegnerische Netzwerke (GANs): Verwenden „gegnerisch“ für zwei Netzwerke, die gegeneinander trainiert werden – eine Trainingsmethode ohne Angreifer.
• Red Teaming für KI: Dabei wird das eigene System vor der Veröffentlichung angegriffen; neben anderen Techniken kommen auch adversariale Angriffe zum Einsatz.

Schutzmaßnahmen#

Adversariales Training, das mit PGD in „Auf dem Weg zu Deep-Learning-Modellen, die gegen adversariale Angriffe resistent sind“ formalisiert wurde, erzeugt Angriffe während des Trainings und passt das Modell so an, dass es sie korrekt klassifiziert. Es bleibt die zuverlässigste empirische Verteidigung, benötigt aber ein Mehrfaches der Rechenleistung eines normalen Trainings und senkt die Genauigkeit bei unveränderten Eingaben. Zertifizierte Abwehrmaßnahmen wie Randomized Smoothing beweisen, dass keine Störung innerhalb eines bestimmten Radius eine Vorhersage ändern kann, allerdings nur bei kleinen Radien. Abwehrmaßnahmen, die Eingaben vorverarbeiten oder Gradienten verbergen, schneiden schlecht ab: „Verschleierte Gradienten vermitteln ein falsches Sicherheitsgefühl“ untersuchte neun auf der ICLR 2018 veröffentlichte Abwehrmaßnahmen, stellte fest, dass sieben auf verschleierten Gradienten beruhten, und umging sechs vollständig und eine weitere teilweise.