Normalizing Flows

Ein normalisierender Fluss ist ein generatives KI-Modell, das eine einfache Basisverteilung, in der Regel eine Standardnormalverteilung, durch eine Folge umkehrbarer, differenzierbarer Funktionen in eine komplexe Datenverteilung transformiert. Da jede Schicht rückwärts durchlaufen werden kann und sich ihre Auswirkung auf das Volumen exakt berechnen lässt, erfüllt ein Flow zwei Aufgaben, die den meisten generativen Modellen nicht gemeinsam möglich sind: Er erzeugt neue Stichproben, indem er Rauschen vorwärts durch die Schichten leitet, und berechnet die exakte Likelihood eines beobachteten Datenpunkts, indem er ihn rückwärts zur Basisverteilung abbildet. Esteban Tabak und seine Kollegen formulierten 2010 und 2013 Flows für die Dichteschätzung. Danilo Rezende und Shakir Mohamed von DeepMind führten den Begriff mit Variational Inference with Normalizing Flows auf der ICML 2015 im Deep Learning ein. „Normalisierend“ bezieht sich darauf, die Datenverteilung in eine Normal- beziehungsweise Gaußverteilung umzuwandeln, und hat nichts mit der Batch-Normalisierung zu tun.

Die Variablenwechsel-Formel#

Wenn eine umkehrbare Funktion f einen Datenpunkt x auf einen latenten Punkt z = f(x) abbildet, lautet die Log-Likelihood der Daten log p(x) = log p_z(f(x)) + log |det J|. Dabei ist J die Jacobi-Matrix von f und die Determinante misst, wie stark f das Volumen um x herum vergrößert oder verkleinert. Bei einer allgemeinen Funktion mit D Variablen erfordert die Berechnung dieser Determinante in der Größenordnung von D³ Operationen und ist damit für Bilder mit Hunderttausenden Dimensionen viel zu langsam. Flow-Schichten werden deshalb mit dreieckigen Jacobi-Matrizen konstruiert, deren Determinante einfach dem Produkt der Diagonaleinträge entspricht. Durch das Stapeln vieler solcher Schichten werden ihre Transformationen zusammengesetzt und ihre Log-Determinanten addiert. Das Training maximiert direkt die Log-Likelihood der Trainingsdaten.

Die affine Kopplungsschicht aus RealNVP ist der klassische Entwurf. Eine Hälfte der Eingabe wird unverändert weitergeleitet und speist ein kleines neuronales Netz, das Skalierung und Verschiebung für die andere Hälfte festlegt, wie in dieser PyTorch-Schicht:

import torch
from torch import nn

torch.manual_seed(0)
# Affine coupling layer (RealNVP): x1 passes through unchanged and sets the scale and shift for x2
net = nn.Sequential(nn.Linear(2, 32), nn.Tanh(), nn.Linear(32, 4))


def coupling(x):
    """Map data x to z and return log|det J|, which is just the sum of the log-scales."""
    x1, x2 = x.chunk(2, dim=-1)
    log_s, t = net(x1).chunk(2, dim=-1)
    return torch.cat([x1, x2 * log_s.exp() + t], dim=-1), log_s.sum(dim=-1)


x = torch.randn(4)
z, log_det = coupling(x)
jacobian = torch.autograd.functional.jacobian(lambda v: coupling(v)[0], x)
print(f"log|det J|: {log_det:.4f} from the formula, {torch.logdet(jacobian):.4f} from the full 4x4 Jacobian")

# Inverse: z1 equals x1, so the same scale and shift can be recomputed and undone
z1, z2 = z.chunk(2)
log_s, t = net(z1).chunk(2)
x_rec = torch.cat([z1, (z2 - t) * (-log_s).exp()])
print(f"Largest reconstruction error: {(x_rec - x).abs().max():.1e}")

Die einfache Formel und die vollständige Jacobi-Matrix ergeben beide eine Log-Determinante von 0.1489. Die Inverse stellt die Eingabe bis auf 1.2e-07 wieder her, den Rundungsfehler bei float32. Das Netz innerhalb der Schicht muss nie invertiert werden und kann daher beliebig komplex sein.

Flow-Architekturen#

• Kopplungs-Flows: NICE (2014) und RealNVP (2016) von Laurent Dinh und seinen Kollegen wechseln ab, welche Hälfte transformiert wird. Glow (2018) von OpenAI ergänzte lernbare, umkehrbare 1 x 1-Faltungen und erzeugte realistische Gesichter mit 256 x 256 Pixeln. Sowohl die Stichprobenziehung als auch die Dichteauswertung sind schnell.
• Autoregressive Flows: Transformieren jede Dimension abhängig von den vorhergehenden. Maskierte autoregressive Flows werten Dichten in einem Durchlauf aus, erzeugen Stichproben jedoch jeweils für eine Dimension. Inverse autoregressive Flows verhalten sich umgekehrt. Apples TarFlow (2024) stapelt autoregressive Transformer-Blöcke über Bildausschnitten und war der erste eigenständige Flow, dessen Stichproben bei der Qualität mit Diffusionsmodellen mithalten konnten.
• Kontinuierliche Flows: Definieren die Transformation als Lösung einer gewöhnlichen Differentialgleichung und heben damit die Einschränkungen beim Entwurf der Schichten auf. FFJORD (2018) verfolgt die Änderung der Log-Dichte mit einem stochastischen Schätzverfahren für die Spur.

Anwendungen#

• Anomalieerkennung: DifferNet (2021), CFLOW-AD und FastFlow passen Flows an die Merkmale eines vortrainierten konvolutionalen neuronalen Netzes an, das mit Bildern fehlerfreier Produkte trainiert wurde, und kennzeichnen Bilder mit niedriger Likelihood als fehlerhaft. FastFlow meldete 2021 bei der Anomalieerkennung im industriellen Prüfbenchmark MVTec AD eine AUC von 99.4 %.
• Sprachsynthese: WaveGlow (2018) von NVIDIA erzeugte Sprachsignale aus Mel-Spektrogrammen in einem einzigen parallelen Durchlauf.
• Wissenschaftliche Stichprobenziehung: Die Boltzmann-Generatoren (2019) von Frank Noé und seinen Kollegen erzeugen Stichproben von Gleichgewichtszuständen in Molekülen und Proteinen. Mithilfe der exakten Likelihood gewichten sie die Stichproben so um, dass sie der tatsächlichen physikalischen Verteilung entsprechen.

Diese Detektoren modellieren Merkmale statt Pixeln – und zwar aus gutem Grund, wie Eric Nalisnick und seine Kollegen 2019 zeigten: Ein mit CIFAR-10-Fotos trainiertes Glow-Modell weist Bildern mit Hausnummern aus SVHN, die es noch nie gesehen hat, eine höhere Likelihood zu. Später stellte sich heraus, dass Flows eher lokale Pixelkorrelationen als Bildinhalte modellieren. Für die Fehlererkennung können dem Flow Einbettungen aus einem beliebigen vortrainierten Backbone als Eingabe dienen: Die embed-Methode von Ultralytics YOLO26 gibt pro Bild einen mittelwertgepoolten Merkmalsvektor zurück, standardmäßig aus der Schicht direkt vor dem Detektions-Head.

Normalisierende Flows im Vergleich zu verwandten Begriffen#

• Flow Matching und Rectified Flow: Trainieren einen kontinuierlichen Flow, indem sie sein Geschwindigkeitsfeld regressieren. Während des Trainings wird keine Log-Determinante berechnet. Diese Verfahren bilden inzwischen die Grundlage großer Bildgeneratoren.
• Variational Autoencoder und Diffusionsmodelle: Werden anhand einer unteren Schranke der Likelihood trainiert.
• GANs: Lernen, einen Diskriminator zu täuschen, und liefern überhaupt keine Likelihood.
• Generative Flussnetzwerke (GFlowNets): Teilen das Wort „Flow“, erzeugen aber schrittweise diskrete Objekte mit einer zur Belohnung proportionalen Wahrscheinlichkeit.