Adversarial Attacks

Adversarial Attacks sind eine hochentwickelte Kategorie von Manipulationstechniken, die darauf ausgelegt sind, Machine Learning (ML)-Modelle dazu zu bringen, falsche Vorhersagen mit hoher Konfidenz zu treffen. Diese Angriffe funktionieren, indem sie subtile, oft nicht wahrnehmbare Störungen in Eingabedaten – wie Bilder, Audio oder Text – einfügen. Während diese Änderungen für einen menschlichen Beobachter harmlos oder zufällig aussehen, nutzen sie spezifische mathematische Schwachstellen in den Entscheidungsgrenzen hochdimensionaler neuronaler Netze aus. Da Artificial Intelligence (AI)-Systeme zunehmend integraler Bestandteil sicherheitskritischer Infrastrukturen werden, ist das Verständnis der Funktionsweise dieser Schwachstellen essenziell für die Entwicklung robuster AI safety-Protokolle und Abwehrmechanismen.

Link to this sectionWie Adversarial Attacks funktionieren#

In einem typischen Deep Learning (DL)-Trainingsprozess optimiert ein Modell seine Gewichte, um Fehler in einem Trainingsdatensatz zu minimieren. Diese Modelle erstellen jedoch im Wesentlichen komplexe Karten in einem mehrdimensionalen Raum. Ein Adversarial Attack berechnet die präzise "Richtung" in diesem Raum, die erforderlich ist, um eine Eingabe über eine Grenze zu schieben und die Klassifizierung des Modells zu verändern. Beispielsweise könnte im Bereich Computer Vision (CV) das Ändern der Pixelwerte eines Pandabildes um einen berechneten Betrag von "Rauschen" dazu führen, dass das System es fälschlicherweise mit hoher Konfidenz als Gibbon klassifiziert, obwohl das Bild für das menschliche Auge immer noch exakt wie ein Panda aussieht.

Angriffsstrategien werden im Allgemeinen nach dem Grad des Zugriffs kategorisiert, den der Angreifer auf das Zielsystem hat:

• White-Box Attacks: Der Angreifer hat volle Transparenz über die Architektur, die Gradienten und die Modellgewichte des Modells. Dies ermöglicht es ihm, die effektivste Störung mathematisch zu berechnen, oft unter Verwendung von Techniken wie der Fast Gradient Sign Method (FGSM).
• Black-Box Attacks: Der Angreifer hat kein Wissen über die internen Modellparameter und kann nur Eingaben und Ausgaben beobachten. Angreifer verwenden häufig ein "Ersatzmodell", um Adversarial Examples zu generieren, die effektiv auf das Zielsystem übertragen werden können – eine Eigenschaft, die als Transferability bekannt ist.

Link to this sectionPraxisanwendungen und Risiken#

Obwohl sie oft in der theoretischen Forschung diskutiert werden, stellen Adversarial Attacks greifbare Risiken für reale Implementierungen dar, insbesondere in autonomen Systemen und im Sicherheitsbereich.

• Autonome Fahrzeuge: Selbstfahrende Autos verlassen sich stark auf Objekterkennung, um Verkehrsschilder zu interpretieren. Die Forschung hat gezeigt, dass das Anbringen sorgfältig gestalteter Aufkleber oder Klebebänder an einem Stoppschild das Sichtsystem des Fahrzeugs dazu bringen kann, es als Tempolimit-Schild wahrzunehmen. Diese Art von physischem Angriff könnte zu gefährlichen Fehlern bei KI im Automobilbereich führen.
• Gesichtserkennungs-Umgehung: Sicherheitssysteme, die den Zugang biometrisch steuern, können durch Adversarial "Patches" kompromittiert werden. Dabei handelt es sich um gedruckte Muster auf Brillen oder Kleidung, die den Prozess der Merkmalsextraktion stören. Dies ermöglicht es einer nicht autorisierten Person, entweder der Erkennung vollständig zu entgehen oder einen bestimmten Benutzer zu imitieren und so Sicherheitsalarmsysteme zu umgehen.

Link to this sectionGenerierung von Adversarial Examples in Python#

Um zu verstehen, wie anfällig manche Modelle sein können, ist es hilfreich zu sehen, wie leicht ein Bild gestört werden kann. Während die Standard-Inferenz mit Modellen wie YOLO26 für den allgemeinen Gebrauch robust ist, simulieren Forscher oft Angriffe, um Modellüberwachung und Abwehr zu verbessern. Das folgende konzeptionelle Beispiel verwendet PyTorch, um zu zeigen, wie Gradienten genutzt werden, um eine kontradiktorische Störung (Rauschen) für ein Bild zu berechnen.

import torch.nn.functional as F

# Assume 'model' is a loaded PyTorch model and 'image' is a normalized tensor
# 'target_class' is the correct label index for the image


def generate_adversarial_noise(model, image, target_class, epsilon=0.01):
    # Enable gradient calculation for the input image
    image.requires_grad = True

    # Forward pass: get prediction
    output = model(image)

    # Calculate loss based on the correct class
    loss = F.nll_loss(output, target_class)

    # Backward pass: calculate gradients of loss w.r.t input
    model.zero_grad()
    loss.backward()

    # Create perturbation using the sign of the data gradient (FGSM)
    # This pushes the image in the direction of maximizing error
    perturbation = epsilon * image.grad.data.sign()

    return perturbation

Link to this sectionVerwandte Konzepte#

Es ist wichtig, Adversarial Attacks von anderen Formen des Modellversagens oder der Manipulation zu unterscheiden:

• Data Poisoning: Im Gegensatz zu Adversarial Attacks, die die Eingabe während der Inferenz (Testphase) manipulieren, beinhaltet Data Poisoning die Korruption der Trainingsdaten selbst, bevor das Modell erstellt wird, wobei versteckte Hintertüren oder Biases eingebettet werden.
• Prompt Injection: Dies ist spezifisch für Large Language Models (LLMs) und Textschnittstellen. Obwohl konzeptionell ähnlich – das Modell auszutricksen – beruht es auf semantischer Sprachmanipulation statt auf mathematischer Störung von Pixel- oder Signaldaten.
• Overfitting: Dies ist ein Trainingsfehler, bei dem ein Modell das Rauschen in den Trainingsdaten lernt, anstatt das zugrunde liegende Muster. Overfitted Modelle sind oft anfälliger für Adversarial Attacks, da ihre Entscheidungsgrenzen übermäßig komplex und spröde sind.

Die Entwicklung von Abwehrmechanismen gegen diese Angriffe ist ein Kernbestandteil moderner MLOps. Techniken wie Adversarial Training – bei dem angegriffene Beispiele dem Trainingsset hinzugefügt werden – helfen Modellen, resilienter zu werden. Plattformen wie die Ultralytics Platform erleichtern strenge Trainings- und Validierungspipelines und ermöglichen es Teams, die Robustheit von Modellen vor der Bereitstellung auf Edge-Geräten zu evaluieren.