YOLO lizenzieren
Zurück zum Ultralytics-Glossar

Consistency Models

Konsistenzmodelle bilden jeden verrauschten Punkt einer Diffusionsbahn direkt auf saubere Daten ab und erzeugen so Bilder in ein oder zwei Schritten. Hier erfährst du, wie sie trainiert werden.

Ein Konsistenzmodell ist ein Modell für generative KI, das jeden Punkt auf der Entrauschungstrajektorie eines Diffusionsmodells direkt auf deren sauberen Ausgangspunkt abbildet. So kann es reines Rauschen mit nur einer Netzwerkauswertung in eine Stichprobe umwandeln. Diffusionsmodelle erzielen dasselbe Ergebnis, indem sie das Rauschen in Dutzenden bis Hunderten kleiner Schritte entfernen. Dadurch sind sie für die Echtzeitinferenz langsam. Yang Song, Prafulla Dhariwal, Mark Chen und Ilya Sutskever von OpenAI stellten Konsistenzmodelle im März 2023 in der Arbeit Consistency Models vor. Sie berichteten über FID-Werte, das heißt Werte für den Fréchet-Inception-Abstand (FID), von 3,55 bei CIFAR-10 und 6,20 bei ImageNet 64 x 64 mit nur einem Schritt – damals die besten Ergebnisse für einen einzelnen Schritt.

Die Konsistenzeigenschaft#

Die Diffusionsabtastung lässt sich als gewöhnliche Differentialgleichung des Wahrscheinlichkeitsflusses (ODE) formulieren, die jede Rauschstichprobe entlang eines deterministischen Pfads genau einer Datenstichprobe zuordnet. Jeder Punkt dieses Pfads, von leichtem Rauschen bis zu reinem Rauschen, hat denselben Ursprung. Eine Konsistenzfunktion f(x, t) nimmt einen Punkt x bei Rauschstufe t entgegen und gibt den Ursprung zurück. Selbstkonsistenz bedeutet, dass sie für alle Punkte derselben Trajektorie dieselbe Ausgabe liefert. Bei der niedrigsten Rauschstufe muss die Funktion ihre Eingabe unverändert zurückgeben. Diese Randbedingung wird mit einer Skip-Verbindung in das Netzwerk eingebaut: Ihr Gewicht für die Eingabe beträgt auf dieser Stufe 1 und das Gewicht für die Ausgabe des neuronalen Netzwerks 0.

Für eindimensionale Gaußsche Daten hat die Konsistenzfunktion eine geschlossene Form, die beide Eigenschaften in wenigen Zeilen PyTorch-Code zeigt:

import torch

torch.manual_seed(0)
mu, s, T = 2.0, 0.5, 80.0  # data distribution N(2, 0.5^2); noise levels run from 0 to T = 80


def consistency_fn(x, t):
    """Exact consistency function for Gaussian data: map x at noise level t to its trajectory's clean origin."""
    return mu + (x - mu) * s / (s**2 + t**2) ** 0.5


# Points on one probability-flow ODE trajectory, from the clean sample 2.6 out to pure noise
t = torch.tensor([0.0, 1.0, 10.0, 80.0])
x_t = mu + (2.6 - mu) * (s**2 + t**2) ** 0.5 / s
print("x_t:      ", x_t.numpy().round(2))
print("f(x_t, t):", consistency_fn(x_t, t).numpy().round(2))

# One-step generation: draw noise at t = T and map it to data with a single call
samples = consistency_fn(T * torch.randn(100_000), T)
print(f"One-step samples: mean {samples.mean():.2f}, std {samples.std():.2f}")

Die vier Punkte der Trajektorie bei 2.6, 3.34, 14.01 und 98.0 werden alle auf 2.6 zurückgeführt. Ein einziger Aufruf verwandelt 100.000 Stichproben reinen Rauschens in Stichproben mit einem Mittelwert von 1.99 und einer Standardabweichung von 0.50, was der Datenverteilung entspricht. Für Bilder gibt es keine solche Formel; daher lernt ein Netzwerk f anhand von Daten.

Training durch Destillation oder von Grund auf#

  • Konsistenzdestillation: Ein vortrainiertes Diffusionsmodell und ein ODE-Löser bewegen eine verrauschte Stichprobe in einem Schritt zu einer niedrigeren Rauschstufe. Die Verlustfunktion bringt die Modellausgaben an den beiden Punkten einander näher.
  • Konsistenztraining: Benötigt kein Lehrermodell. Es erzeugt die beiden benachbarten Punkte, indem zu einem sauberen Bild bei zwei Rauschstufen dieselbe Rauschstichprobe hinzugefügt wird. So wird die Trajektorie angenähert, ohne die ODE zu lösen.

In der ursprünglichen Arbeit stammte die Ausgabe am weniger verrauschten Punkt aus einem exponentiell gleitenden Mittelwert der Gewichte des Modells (EMA), also einer langsam aktualisierten Kopie, die verhindert, dass sich das Ziel bei jedem Schritt verschiebt. Ultralytics YOLO26 verwendet während des Trainings dieselbe Art von Mittelwert: Nach jedem Optimierungsschritt wird eine EMA-Kopie des Modells aktualisiert, deren Zerfallsrate bis auf 0.9999 ansteigt. Für die Validierung und die gespeicherten Prüfpunkte last.pt und best.pt wird diese Kopie verwendet. Beim verbesserten Konsistenztraining (iCT) von Song und Dhariwal aus dem Oktober 2023 wurde die EMA-Zerfallsrate dieser Zielkopie auf null gesetzt, der wahrnehmungsbezogene LPIPS-Verlust durch einen Pseudo-Huber-Verlust ersetzt und ohne vortrainiertes Diffusionsmodell ein FID-Wert mit einem Schritt von 2.51 bei CIFAR-10 sowie 3.25 bei ImageNet 64 x 64 erreicht. Das kontinuierliche sCM von Cheng Lu und Yang Song skalierte den Ansatz im Oktober 2024 auf 1,5 Milliarden Parameter und erzielte bei ImageNet 512 x 512 mit zwei Schritten einen FID-Wert von 1.88.

Mehrschrittige Abtastung und Bearbeitung ohne Beispiele#

Ein Schritt liefert die schnellste Stichprobe; einige weitere Schritte verbessern die Qualität. Bei der mehrschrittigen Abtastung wechseln sich Sprünge zu sauberen Daten und erneutes Verrauschen bis zu einer niedrigeren Rauschstufe ab. So verfeinert jeder Durchlauf die vorherige Schätzung:

Dieselbe Schleife bearbeitet Bilder ohne aufgabenspezifisches Training. Werden nach jedem Sprung die bekannten Pixel ersetzt, entsteht Bildinpainting. Wird stattdessen eine heruntergerechnete oder in Graustufen umgewandelte Version vorgegeben, entsteht Superauflösung beziehungsweise Kolorierung. Alle drei Verfahren wurden in der ursprünglichen Arbeit demonstriert.

  • Modelle mit latenter Konsistenz (LCMs): Destillieren Stable Diffusion in ein Modell, das in seinem latenten Raum arbeitet. So kam im Oktober 2023 die Text-zu-Bild-Generierung in einem bis vier Schritten für offene Modelle auf.
  • Diffusionsrichtlinien: Steuerungen für Roboter, die Aktionssequenzen entrauschen. Aaditya Prasad und Kollegen von Stanford und Princeton destillierten sie 2024 zu einer Konsistenzrichtlinie. Diese war bei der Inferenz um eine Größenordnung schneller als die schnellste Alternative und lief auf einer Laptop-GPU.
  • Begradigter Fluss: Begradigt die Pfade vom Rauschen zu den Daten selbst, sodass ein gewöhnlicher ODE-Löser nur wenige Schritte benötigt.
  • Progressive Destillation: Tim Salimans und Jonathan Ho entwickelten 2022 ein Verfahren, das die Schrittzahl eines Diffusionsmodells in jeder Destillationsrunde halbiert und nach vielen Runden auf 4 Schritte reduziert. Bei der Konsistenzdestillation wird stattdessen direkt ein Sprung mit nur einem Schritt trainiert.

Lösungen entdecken

Computer Vision im Sport

Computer Vision im Sport

Entdecke, wie Ultralytics YOLO die Sportbildanalyse voranbringt – mit Spieler- und Ballverfolgung, Leistungsanalysen, Erkenntnissen für das Coaching und der Rehabilitation von Athleten.
Mehr erfahren
Computer Vision für Luftbilder

Computer Vision für Luftbilder

Verwandle Drohnen- und Luftbilder mit Ultralytics YOLO in Echtzeit-Erkenntnisse für Landwirtschaft, Aquakultur, Naturschutz und Geodatenanalyse.
Mehr erfahren
Computer Vision in der Luft- und Raumfahrt

Computer Vision in der Luft- und Raumfahrt

Setze Computer Vision in der Luft- und Raumfahrt mit Ultralytics YOLO ein – für Flugzeuginspektionen, die Erkennung von Fremdkörpern auf Start- und Landebahnen, den Bodenbetrieb am Flughafen und die Erkennung von Verbundwerkstofffehlern.
Mehr erfahren
Computer Vision im Sicherheitsbereich

Computer Vision im Sicherheitsbereich

Schütze jeden Standort mit Ultralytics YOLO-Modellen. Vision-KI ermöglicht die Überwachung von Grundstücksgrenzen, die Erkennung von Bedrohungen, die Kennzeichenerkennung und die Sicherheit am Arbeitsplatz.
Mehr erfahren
Computer Vision in der Robotik

Computer Vision in der Robotik

Mach Maschinen mit Ultralytics YOLO-Modellen leistungsfähiger. Vision-KI in der Robotik ermöglicht autonome Navigation, Wahrnehmung, Objektverfolgung und Steuerung in Echtzeit.
Mehr erfahren
Bildverarbeitung in der Logistik

Bildverarbeitung in der Logistik

Optimiere die Logistik mit Ultralytics YOLO-Modellen. Vision AI ermöglicht die Paketprüfung, Sortierung und Fahrzeugverfolgung sowie die Sicherheitsüberwachung von Lagerhäusern in Echtzeit.
Mehr erfahren
Bildverarbeitung im Einzelhandel

Bildverarbeitung im Einzelhandel

Gestalte den Einzelhandel mit Ultralytics YOLO-Modellen neu. Vision AI ermöglicht Bestandsverfolgung, Regalüberwachung und Warteschlangenmanagement und liefert bessere Einblicke in das Kundenverhalten.
Mehr erfahren
Bildverarbeitung im Gesundheitswesen

Bildverarbeitung im Gesundheitswesen

Entwickle Lösungen für das Gesundheitswesen mit Ultralytics YOLO-Modellen. Vision AI ermöglicht im Gesundheitswesen schnellere medizinische Bildgebung, bessere Diagnostik und die Überwachung von Patienten.
Mehr erfahren
Computer Vision in der Fertigung

Computer Vision in der Fertigung

Optimiere die Fertigung mit Ultralytics-YOLO-Modellen. Vision AI ermöglicht Qualitätskontrolle, Fehlererkennung, die Überprüfung der Einhaltung von Vorgaben zu persönlicher Schutzausrüstung und die Automatisierung von Montagelinien.
Mehr erfahren
Computer Vision in der Automobilbranche

Computer Vision in der Automobilbranche

Setze Computer Vision in der Automobilbranche mit Ultralytics-YOLO-Modellen ein. Vision AI verbessert die Verkehrssicherheit, Fahrerassistenz und Fahrzeugautomatisierung – für intelligentere Straßen.
Mehr erfahren
Computer Vision in der Landwirtschaft

Computer Vision in der Landwirtschaft

Setze mit Ultralytics YOLO-Modellen KI für Bildverarbeitung in der intelligenten Landwirtschaft ein. Ermögliche die Überwachung von Nutzpflanzen, die Verfolgung von Nutztieren und Präzisionslandwirtschaft für höhere und nachhaltigere Erträge.
Mehr erfahren

Lass uns gemeinsam die Zukunft der KI gestalten!

Starte deine Reise in die Zukunft des maschinellen Lernens