Adversarial Attacks

Adversarial Attacks sind eine hochentwickelte Kategorie von Manipulationstechniken, die darauf ausgelegt sind, Machine Learning (ML)-Modelle dazu zu bringen, falsche Vorhersagen mit hoher Konfidenz zu treffen. Diese Angriffe funktionieren, indem sie subtile, oft nicht wahrnehmbare Störungen in Eingabedaten – wie Bilder, Audio oder Text – einfügen. Während diese Änderungen für einen menschlichen Beobachter harmlos oder zufällig aussehen, nutzen sie spezifische mathematische Schwachstellen in den Entscheidungsgrenzen hochdimensionaler neuronaler Netze aus. Da Artificial Intelligence (AI)-Systeme zunehmend integraler Bestandteil sicherheitskritischer Infrastrukturen werden, ist das Verständnis der Funktionsweise dieser Schwachstellen essenziell für die Entwicklung robuster AI safety-Protokolle und Abwehrmechanismen.

Link to this sectionWie Adversarial Attacks funktionieren#

In einem typischen Deep Learning (DL)-Trainingsprozess optimiert ein Modell seine Gewichte, um Fehler in einem Trainingsdatensatz zu minimieren. Diese Modelle erstellen jedoch im Wesentlichen komplexe Karten in einem mehrdimensionalen Raum. Ein Adversarial Attack berechnet die präzise "Richtung" in diesem Raum, die erforderlich ist, um eine Eingabe über eine Grenze zu schieben und die Klassifizierung des Modells zu verändern. Beispielsweise könnte im Bereich Computer Vision (CV) das Ändern der Pixelwerte eines Pandabildes um einen berechneten Betrag von "Rauschen" dazu führen, dass das System es fälschlicherweise mit hoher Konfidenz als Gibbon klassifiziert, obwohl das Bild für das menschliche Auge immer noch exakt wie ein Panda aussieht.

Angriffsstrategien werden im Allgemeinen nach dem Grad des Zugriffs kategorisiert, den der Angreifer auf das Zielsystem hat:

• White-Box Attacks: Der Angreifer hat volle Transparenz über die Architektur, die Gradienten und die Modellgewichte des Modells. Dies ermöglicht es ihm, die effektivste Störung mathematisch zu berechnen, oft unter Verwendung von Techniken wie der Fast Gradient Sign Method (FGSM).
• Black-Box Attacks: Der Angreifer hat kein Wissen über die internen Modellparameter und kann nur Eingaben und Ausgaben beobachten. Angreifer verwenden häufig ein "Ersatzmodell", um Adversarial Examples zu generieren, die effektiv auf das Zielsystem übertragen werden können – eine Eigenschaft, die als Transferability bekannt ist.

Link to this sectionPraxisanwendungen und Risiken#

Obwohl sie oft in der theoretischen Forschung diskutiert werden, stellen Adversarial Attacks greifbare Risiken für reale Implementierungen dar, insbesondere in autonomen Systemen und im Sicherheitsbereich.

• Autonome Fahrzeuge: Selbstfahrende Autos verlassen sich stark auf Object Detection, um Verkehrsschilder zu interpretieren. Die Forschung hat gezeigt, dass das Anbringen sorgfältig gestalteter Aufkleber oder Klebebänder an einem Stoppschild das Sichtsystem des Fahrzeugs dazu bringen kann, es als Tempolimit-Schild wahrzunehmen. Diese Art von physischem Angriff könnte zu gefährlichen Fehlern in AI in automotive-Anwendungen führen.
• Gesichtserkennungs-Umgehung: Sicherheitssysteme, die den Zugang biometrisch steuern, können durch Adversarial "Patches" kompromittiert werden. Dabei handelt es sich um gedruckte Muster auf Brillen oder Kleidung, die den Prozess der Merkmalsextraktion stören. Dies ermöglicht es einer nicht autorisierten Person, entweder der Erkennung vollständig zu entgehen oder einen bestimmten Benutzer zu imitieren und so Sicherheitsalarmsysteme zu umgehen.

Link to this sectionGenerierung von Adversarial Examples in Python#

To understand how fragile some models can be, it is helpful to see how easily an image can be perturbed. While standard inference with models like YOLO26 is robust for general use, researchers often simulate attacks to improve model monitoring and defense. The following conceptual example uses PyTorch to show how gradients are used to calculate an adversarial perturbation (noise) for an image.

import torch.nn.functional as F

# Assume 'model' is a loaded PyTorch model and 'image' is a normalized tensor
# 'target_class' is the correct label index for the image


def generate_adversarial_noise(model, image, target_class, epsilon=0.01):
    # Enable gradient calculation for the input image
    image.requires_grad = True

    # Forward pass: get prediction
    output = model(image)

    # Calculate loss based on the correct class
    loss = F.nll_loss(output, target_class)

    # Backward pass: calculate gradients of loss w.r.t input
    model.zero_grad()
    loss.backward()

    # Create perturbation using the sign of the data gradient (FGSM)
    # This pushes the image in the direction of maximizing error
    perturbation = epsilon * image.grad.data.sign()

    return perturbation

Link to this sectionVerwandte Konzepte#

Es ist wichtig, Adversarial Attacks von anderen Formen des Modellversagens oder der Manipulation zu unterscheiden:

• Data Poisoning: Im Gegensatz zu Adversarial Attacks, die die Eingabe während der Inferenz (Testphase) manipulieren, beinhaltet Data Poisoning die Korruption der Trainingsdaten selbst, bevor das Modell erstellt wird, wobei versteckte Hintertüren oder Biases eingebettet werden.
• Prompt Injection: Dies ist spezifisch für Large Language Models (LLMs) und Textschnittstellen. Obwohl konzeptionell ähnlich – das Modell auszutricksen – beruht es auf semantischer Sprachmanipulation statt auf mathematischer Störung von Pixel- oder Signaldaten.
• Overfitting: Dies ist ein Trainingsfehler, bei dem ein Modell das Rauschen in den Trainingsdaten lernt, anstatt das zugrunde liegende Muster. Overfitted Modelle sind oft anfälliger für Adversarial Attacks, da ihre Entscheidungsgrenzen übermäßig komplex und spröde sind.

Die Entwicklung von Abwehrmechanismen gegen diese Angriffe ist ein Kernbestandteil moderner MLOps. Techniken wie Adversarial Training – bei dem angegriffene Beispiele dem Trainingsset hinzugefügt werden – helfen Modellen, resilienter zu werden. Plattformen wie die Ultralytics Platform erleichtern strenge Trainings- und Validierungspipelines und ermöglichen es Teams, die Robustheit von Modellen vor der Bereitstellung auf Edge-Geräten zu evaluieren.