Adversarial Attacks

Adversariale Angriffe sind eine anspruchsvolle Kategorie von Manipulationstechniken, die darauf ausgelegt sind, Modelle des maschinellen Lernens (ML) zu täuschen, sodass sie mit hoher Zuversicht falsche Vorhersagen treffen. Diese Angriffe fügen den Eingabedaten – etwa Bildern, Audiodaten oder Text – subtile, für Menschen oft nicht wahrnehmbare Störungen hinzu. Auch wenn diese Änderungen für menschliche Beobachter harmlos oder zufällig wirken, nutzen sie spezifische mathematische Schwachstellen in den Entscheidungsgrenzen hochdimensionaler neuronaler Netze aus. Da Systeme der künstlichen Intelligenz (AI) zunehmend zu einem Bestandteil sicherheitskritischer Infrastruktur werden, ist es unerlässlich, diese Schwachstellen zu verstehen, um robuste Protokolle und Abwehrmechanismen für die Sicherheit von KI-Systemen zu entwickeln.

So funktionieren adversariale Angriffe#

In einem typischen Trainingsprozess des Deep Learning (DL) optimiert ein Modell seine Gewichte, um den Fehler in einem Trainingsdatensatz zu minimieren. Im Wesentlichen erstellen diese Modelle jedoch komplexe Abbildungen in einem mehrdimensionalen Raum. Ein adversarialer Angriff berechnet die genaue „Richtung“ in diesem Raum, die erforderlich ist, um eine Eingabe über eine Grenze zu verschieben und dadurch die Klassifizierung des Modells zu ändern. Bei der Computer Vision (CV) kann beispielsweise eine gezielte Änderung der Pixelwerte eines Pandabilds durch eine bestimmte Menge „Rauschen“ dazu führen, dass das System es mit hoher Zuversicht fälschlicherweise als Gibbon klassifiziert, obwohl das Bild für das menschliche Auge weiterhin eindeutig wie ein Panda aussieht.

Angriffsstrategien werden im Allgemeinen nach dem Grad des Zugriffs kategorisiert, den der Angreifer auf das Zielsystem hat:

• White-Box-Angriffe: Der Angreifer hat vollständige Transparenz über die Architektur, Gradienten und Modellgewichte. Dadurch kann er die effektivste Störung mathematisch berechnen, häufig mit Techniken wie der Methode des schnellen Gradientenzeichens (FGSM).
• Black-Box-Angriffe: Der Angreifer kennt die internen Modellparameter nicht und kann nur Eingaben und Ausgaben beobachten. Angreifer verwenden häufig ein „Ersatzmodell“, um adversariale Beispiele zu erzeugen, die sich effektiv auf das Zielsystem übertragen lassen – eine Eigenschaft, die als Übertragbarkeit bezeichnet wird.

Anwendungen und Risiken in der Praxis#

Auch wenn adversariale Angriffe häufig in der theoretischen Forschung diskutiert werden, stellen sie konkrete Risiken für reale Anwendungen dar, insbesondere bei autonomen Systemen und in der Sicherheitstechnik.

• Autonome Fahrzeuge: Selbstfahrende Autos sind bei der Interpretation von Verkehrsschildern in hohem Maß auf Objekterkennung angewiesen. Untersuchungen haben gezeigt, dass sorgfältig angebrachte Aufkleber oder Klebeband auf einem Stoppschild das Bildverarbeitungssystem des Fahrzeugs dazu bringen können, es als Geschwindigkeitsbegrenzungsschild wahrzunehmen. Diese Art von Angriff in der physischen Welt könnte zu gefährlichen Fehlfunktionen bei Anwendungen von KI im Automobilbereich führen.
• Umgehung der Gesichtserkennung: Sicherheitssysteme, die den Zugang auf Grundlage biometrischer Merkmale steuern, können durch adversariale „Patches“ kompromittiert werden. Dabei kann es sich um gedruckte Muster handeln, die auf Brillen oder Kleidung getragen werden und den Prozess der Merkmalsextraktion stören. Dadurch kann eine unbefugte Person entweder die Erkennung vollständig umgehen oder sich als ein bestimmter Benutzer ausgeben und so Sicherheitsalarmsysteme umgehen.

Adversariale Beispiele in Python erzeugen#

Um zu verstehen, wie anfällig manche Modelle sein können, ist es hilfreich zu sehen, wie leicht sich ein Bild verändern lässt. Während die standardmäßige Inferenz mit Modellen wie YOLO26 für den allgemeinen Einsatz robust ist, simulieren Forschende häufig Angriffe, um die Modellüberwachung und die Abwehr zu verbessern. Das folgende konzeptionelle Beispiel verwendet PyTorch, um zu zeigen, wie Gradienten zur Berechnung einer adversarialen Störung (Rauschen) für ein Bild eingesetzt werden.

import torch.nn.functional as F

# Assume 'model' is a loaded PyTorch model and 'image' is a normalized tensor
# 'target_class' is the correct label index for the image


def generate_adversarial_noise(model, image, target_class, epsilon=0.01):
    # Enable gradient calculation for the input image
    image.requires_grad = True

    # Forward pass: get prediction
    output = model(image)

    # Calculate loss based on the correct class
    loss = F.nll_loss(output, target_class)

    # Backward pass: calculate gradients of loss w.r.t input
    model.zero_grad()
    loss.backward()

    # Create perturbation using the sign of the data gradient (FGSM)
    # This pushes the image in the direction of maximizing error
    perturbation = epsilon * image.grad.data.sign()

    return perturbation

Verwandte Konzepte#

Es ist wichtig, adversariale Angriffe von anderen Formen des Modellversagens oder der Manipulation zu unterscheiden:

• Datenvergiftung: Im Gegensatz zu adversarialen Angriffen, bei denen die Eingabe während der Inferenz (Testphase) manipuliert wird, werden bei der Datenvergiftung die Trainingsdaten selbst korrumpiert, bevor das Modell erstellt wird, wodurch versteckte Hintertüren oder Verzerrungen eingebettet werden.
• Prompt-Injection: Diese Form tritt spezifisch bei großen Sprachmodellen (LLMs) und Textschnittstellen auf. Obwohl sie konzeptionell ähnlich ist – das Modell wird getäuscht –, beruht sie auf der semantischen Manipulation von Sprache und nicht auf der mathematischen Veränderung von Pixel- oder Signaldaten.
• Überanpassung: Dabei handelt es sich um einen Trainingsfehler, bei dem ein Modell das Rauschen in den Trainingsdaten statt des zugrunde liegenden Musters lernt. Überangepasste Modelle sind häufig anfälliger für adversariale Angriffe, weil ihre Entscheidungsgrenzen übermäßig komplex und instabil sind.

Die Entwicklung von Abwehrmaßnahmen gegen diese Angriffe ist ein zentraler Bestandteil moderner MLOps. Techniken wie adversariales Training, bei dem angegriffene Beispiele zum Trainingssatz hinzugefügt werden, machen Modelle widerstandsfähiger. Plattformen wie die Ultralytics Platform ermöglichen gründliche Trainings- und Validierungspipelines, sodass Teams die Robustheit von Modellen bewerten können, bevor sie diese auf Edge-Geräten einsetzen.