YOLO lizenzieren
Zurück zum Ultralytics-Glossar

Data Poisoning

Bei einer Datenvergiftung werden die Trainingsdaten eines Modells manipuliert, um Hintertüren einzubauen, gezielte Fehler hervorzurufen oder die Genauigkeit zu verschlechtern – oft genügt dafür ein winziger Anteil der Beispiele.

Datenvergiftung ist ein Angriff, bei dem ein Angreifer Trainingsdaten einschleust oder verändert, damit ein Machine-Learning-Modell das gewünschte Verhalten erlernt: eine allgemein geringere Genauigkeit, falsche Vorhersagen für ausgewählte Eingaben oder eine verborgene Hintertür, die bei einem bestimmten Auslösemuster aktiviert wird. Der Angriff findet vor dem Training statt. Das vergiftete Modell wird daher ohne Änderungen am Code ausgeliefert und besteht häufig gewöhnliche Tests. Modelle, die mit aus dem Web ausgelesenen, von Benutzern beigesteuerten oder von Drittanbietern gekauften Daten trainiert wurden, sind gefährdet. Deshalb führt die OWASP Top 10 für LLM-Anwendungen Daten- und Modellvergiftung unter den zehn Risiken für Anwendungen mit großen Sprachmodellen (LLMs) auf.

Arten von Vergiftungsangriffen#

Angriffe unterscheiden sich durch das Ziel des Angreifers und dadurch, ob die vergifteten Beispiele falsche Beschriftungen enthalten:

Verfügbarkeitsangriffe fügen Rauschen hinzu oder vertauschen Beschriftungen, um ein Modell überall schlechter zu machen. Sie lassen sich deshalb leicht erkennen. Gezielte Angriffe und Hintertürangriffe sind unauffälliger, da sich das Modell bei fast allen Eingaben normal verhält. Bei BadNets (2017) lernte ein Verkehrszeichenerkenner, Stoppschilder mit einem kleinen Aufkleber als Geschwindigkeitsbegrenzungsschilder zu lesen. Bei Angriffen mit korrekten Beschriftungen, etwa dem Angriff Poison Frogs von Ali Shafahi und Kollegen, bleiben alle Beschriftungen korrekt. Stattdessen werden Bilder so unauffällig verändert, dass Menschen bei der Überprüfung des Datensatzes nichts Auffälliges bemerken.

Eine Hintertür mit wenigen Beispielen#

Der folgende Angriff vergiftet den handgeschriebenen Zifferndatensatz von scikit-learn. Jede vergiftete Kopie einer Ziffer ungleich null trägt am linken Rand eine Markierung aus drei Pixeln und die Beschriftung 0. Eine Support-Vector-Maschine (SVM) wird mit 0, 10, 20 und 40 solcher Beispiele zusätzlich zu 1.257 unveränderten Trainingsbildern trainiert:

import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC

x, y = load_digits(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, random_state=0)
trigger = [24, 32, 40]  # three pixels on the left edge, almost always blank in real digits
triggered = x_test[y_test != 0].copy()
triggered[:, trigger] = 16
rng = np.random.default_rng(0)

for n_poison in (0, 10, 20, 40):
    # Backdoor poisoning: stamp the trigger on copies of other digits and label them 0
    poison = x_train[rng.choice(np.flatnonzero(y_train != 0), n_poison, replace=False)].copy()
    poison[:, trigger] = 16
    model = SVC().fit(np.vstack([x_train, poison]), np.concatenate([y_train, np.zeros(n_poison, int)]))

    # Accuracy on clean test digits versus the share of triggered digits read as 0
    attack = np.mean(model.predict(triggered) == 0)
    print(f"{n_poison} poisoned: clean accuracy {model.score(x_test, y_test):.3f}, attack success {attack:.0%}")

Die Genauigkeit auf unveränderten Daten bleibt bei jedem Durchlauf bei 0,991. Ein unverändertes Validierungsset zeigt also keine Anzeichen des Angriffs. Die Erfolgsrate des Angriffs steigt hingegen von 0 % auf 71 % bei 10 vergifteten Bildern, 97 % bei 20 Bildern, die 1,6 % des Trainingssets ausmachen, und 100 % bei 40 Bildern.

Vergiftung im Webmaßstab#

Große Datensätze machen Vergiftungsangriffe kostengünstiger. Nicholas Carlini und Kollegen zeigten, dass sich Trainingsdatensätze im Webmaßstab praktisch vergiften lassen: Datensätze wie LAION-400M verbreiten Bild-URLs statt der Bilder selbst. Hätte ein Angreifer abgelaufene Domains gekauft, auf die diese URLs verweisen, hätte er für etwa 60 US-Dollar 0,01 % von LAION-400M oder COYO-700M kontrollieren können. Bei einem zweiten Angriff, dem sogenannten Frontrunning, werden von der Crowd gepflegte Seiten wie Wikipedia kurz vor einer geplanten Momentaufnahme bearbeitet.

LLMs benötigen überraschend wenige vergiftete Dokumente. In einer Studie aus dem Jahr 2025 von Anthropic, dem britischen AI Security Institute und dem Alan Turing Institute genügten 250 Dokumente mit dem Auslöser <SUDO> und anschließendem Kauderwelsch, um Modelle mit 600 Millionen bis 13 Milliarden Parametern zuverlässig mit einer Hintertür zu versehen, sodass sie nach Eingabe des Auslösers Kauderwelsch ausgaben. Die nötige Dokumentzahl blieb nahezu konstant, während die Modelle und ihre Datensätze wuchsen. Beim größten Modell machten die 250 Dokumente etwa 0,00016 % der Trainingstokens aus. Vergiftungsangriffe funktionieren auch bei der generativen KI für Bilder: Nightshade von der University of Chicago verfälscht mit weniger als 100 vergifteten Bildern eine bestimmte Eingabeaufforderung in Stable Diffusion SDXL. Künstler nutzen das Verfahren, um das unerlaubte Auslesen ihrer Werke zu verhindern.

  • Adversarial attacks: Verändere Eingaben zum Inferenzzeitpunkt, um ein normal trainiertes Modell zu täuschen. Beim Poisoning wird das Modell selbst über seine Trainingsdaten verändert.
  • Prompt Injection: Versteckt Anweisungen in Text, den ein LLM beim Beantworten liest, und beeinflusst dadurch eine einzelne Unterhaltung statt der Gewichte.
  • Schläferagenten: Mit einer Hintertür versehene LLMs, die schädliches Verhalten verbergen, bis es ausgelöst wird. Poisoning ist eine Möglichkeit, sie zu erzeugen, und Anthropic hat gezeigt, dass solche Hintertüren ein Sicherheitstraining überstehen können.
  • Angriffe durch Rückschlüsse auf die Zugehörigkeit: Lesen Informationen über die Trainingsdaten aus einem trainierten Modell aus. Beim Poisoning werden Informationen über die Trainingsdaten in das Modell eingeschleust.

Schutzmaßnahmen#

Abwehrmaßnahmen beginnen mit der Datenherkunft: Es muss bekannt sein, woher jedes Beispiel stammt und ob es nach der Prüfung verändert wurde. Carlini und Kollegen empfehlen, zu jeder URL einen kryptografischen Hash bereitzustellen, damit nach der Kuratierung ausgetauschte Inhalte bei der Prüfung durchfallen. Datenbereinigung entfernt Duplikate und verdächtige Beispiele. Die Anomalieerkennung anhand der internen Merkmale eines trainierten Modells kann vergiftete Beispiele aufdecken, wie in der Methode der spektralen Signaturen von Brandon Tran, Jerry Li und Aleksander Madry, die Hintertür-Beispiele als Ausreißer in gelernten Repräsentationen erkennt. Differential Privacy begrenzt, wie stark ein einzelnes Beispiel ein Modell verändern kann, und begrenzt damit auch die Wirkung weniger vergifteter Beispiele. Föderiertes Lernen nutzt robuste Aggregationsverfahren gegen Clients, die vergiftete Aktualisierungen übermitteln.

Bei Computer-Vision-Datensätzen erkennt die Änderungsverfolgung Manipulationen zwischen Trainingsläufen. Die Ultralytics Platform speichert unveränderliche Datensatzversionen. Compare Versions zählt die seit einer früheren Version hinzugefügten, entfernten oder geänderten Bilder sowie hinzugefügte oder entfernte Annotationen und zeigt jedes geänderte Bild vor und nach der Änderung samt Labels an, sodass ein eingeschleustes Bild oder ein vertauschtes Label vor dem nächsten YOLO26-Trainingslauf auffällt.

Lösungen entdecken

Computer Vision im Sport

Computer Vision im Sport

Entdecke, wie Ultralytics YOLO die Sportbildanalyse voranbringt – mit Spieler- und Ballverfolgung, Leistungsanalysen, Erkenntnissen für das Coaching und der Rehabilitation von Athleten.
Mehr erfahren
Computer Vision für Luftbilder

Computer Vision für Luftbilder

Verwandle Drohnen- und Luftbilder mit Ultralytics YOLO in Echtzeit-Erkenntnisse für Landwirtschaft, Aquakultur, Naturschutz und Geodatenanalyse.
Mehr erfahren
Computer Vision in der Luft- und Raumfahrt

Computer Vision in der Luft- und Raumfahrt

Setze Computer Vision in der Luft- und Raumfahrt mit Ultralytics YOLO ein – für Flugzeuginspektionen, die Erkennung von Fremdkörpern auf Start- und Landebahnen, den Bodenbetrieb am Flughafen und die Erkennung von Verbundwerkstofffehlern.
Mehr erfahren
Computer Vision im Sicherheitsbereich

Computer Vision im Sicherheitsbereich

Schütze jeden Standort mit Ultralytics YOLO-Modellen. Vision-KI ermöglicht die Überwachung von Grundstücksgrenzen, die Erkennung von Bedrohungen, die Kennzeichenerkennung und die Sicherheit am Arbeitsplatz.
Mehr erfahren
Computer Vision in der Robotik

Computer Vision in der Robotik

Mach Maschinen mit Ultralytics YOLO-Modellen leistungsfähiger. Vision-KI in der Robotik ermöglicht autonome Navigation, Wahrnehmung, Objektverfolgung und Steuerung in Echtzeit.
Mehr erfahren
Bildverarbeitung in der Logistik

Bildverarbeitung in der Logistik

Optimiere die Logistik mit Ultralytics YOLO-Modellen. Vision AI ermöglicht die Paketprüfung, Sortierung und Fahrzeugverfolgung sowie die Sicherheitsüberwachung von Lagerhäusern in Echtzeit.
Mehr erfahren
Bildverarbeitung im Einzelhandel

Bildverarbeitung im Einzelhandel

Gestalte den Einzelhandel mit Ultralytics YOLO-Modellen neu. Vision AI ermöglicht Bestandsverfolgung, Regalüberwachung und Warteschlangenmanagement und liefert bessere Einblicke in das Kundenverhalten.
Mehr erfahren
Bildverarbeitung im Gesundheitswesen

Bildverarbeitung im Gesundheitswesen

Entwickle Lösungen für das Gesundheitswesen mit Ultralytics YOLO-Modellen. Vision AI ermöglicht im Gesundheitswesen schnellere medizinische Bildgebung, bessere Diagnostik und die Überwachung von Patienten.
Mehr erfahren
Computer Vision in der Fertigung

Computer Vision in der Fertigung

Optimiere die Fertigung mit Ultralytics-YOLO-Modellen. Vision AI ermöglicht Qualitätskontrolle, Fehlererkennung, die Überprüfung der Einhaltung von Vorgaben zu persönlicher Schutzausrüstung und die Automatisierung von Montagelinien.
Mehr erfahren
Computer Vision in der Automobilbranche

Computer Vision in der Automobilbranche

Setze Computer Vision in der Automobilbranche mit Ultralytics-YOLO-Modellen ein. Vision AI verbessert die Verkehrssicherheit, Fahrerassistenz und Fahrzeugautomatisierung – für intelligentere Straßen.
Mehr erfahren
Computer Vision in der Landwirtschaft

Computer Vision in der Landwirtschaft

Setze mit Ultralytics YOLO-Modellen KI für Bildverarbeitung in der intelligenten Landwirtschaft ein. Ermögliche die Überwachung von Nutzpflanzen, die Verfolgung von Nutztieren und Präzisionslandwirtschaft für höhere und nachhaltigere Erträge.
Mehr erfahren

Lass uns gemeinsam die Zukunft der KI gestalten!

Starte deine Reise in die Zukunft des maschinellen Lernens