Fréchet Inception Distance (FID)

Die Fréchet Inception Distance (FID) bewertet ein generatives Bildmodell, indem sie die statistischen Eigenschaften seiner generierten Bilder mit denen realer Bilder vergleicht. Beide Mengen werden durch ein vortrainiertes Inception-v3-Netzwerk geleitet. Die Merkmale jeder Menge werden als multivariate Gauß-Verteilung mit Mittelwert und Kovarianz zusammengefasst. Die FID ist die Fréchet-Distanz zwischen diesen beiden Verteilungen. Ein niedrigerer Wert ist besser. Ein Wert von null bedeutet, dass Mittelwerte und Kovarianzen der beiden Merkmalsmengen identisch sind. Martin Heusel und seine Kollegen an der Johannes Kepler Universität Linz führten die FID 2017 in ihrer Arbeit GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium ein. Sie löste rasch den Inception Score als Standardmetrik für generative adversariale Netze (GANs) und später für Diffusionsmodelle ab.

Berechnung der FID#

1. Erzeuge eine große Bildstichprobe, üblicherweise mit 50,000 Bildern, und stelle eine Vergleichsmenge realer Bilder zusammen, meist aus dem Trainingsdatensatz.
2. Skaliere jedes Bild auf 299 x 299 Pixel und leite es durch Inception v3. Dieses für die Bildklassifikation auf ImageNet trainierte konvolutionale neuronale Netz liefert in seiner letzten Pooling-Schicht eine Ausgabe mit 2.048 Dimensionen, die als Einbettung des Bildes dient.
3. Berechne den Mittelwertvektor und die Kovarianzmatrix der Einbettungen realer Bilder sowie der Einbettungen generierter Bilder.
4. Führe sie zusammen: FID = (quadrierter Abstand zwischen den beiden Mittelwerten) + Spur(C_real + C_gen - 2 x sqrt(C_real x C_gen)), wobei sqrt die Matrixwurzel bezeichnet.

Der erste Term steigt, wenn sich generierte Bilder im Durchschnitt von echten Bildern unterscheiden, etwa durch einen Farbstich oder eine falsche Mischung von Inhalten. Der zweite Term steigt, wenn die Vielfalt nicht stimmt, wie beim Mode Collapse. Dabei produziert das GAN nur wenige Arten von Ausgaben. Ein einziger Wert bildet somit sowohl die Wiedergabetreue als auch die Vielfalt ab. Deshalb wurde die FID zum Standardwert für Text-zu-Bild-Systeme wie Stable Diffusion.

Dieselbe Berechnung in NumPy mit simulierten 64-dimensionalen Merkmalsvektoren:

import numpy as np

rng = np.random.default_rng(0)

# Simulated 64-D feature vectors for 5,000 real and 5,000 generated images
real = rng.normal(0.0, 1.0, size=(5000, 64))
generated = rng.normal(0.3, 0.8, size=(5000, 64))  # shifted mean, less variety

# Summarize each set as a Gaussian: a mean vector and a covariance matrix
mu_r, mu_g = real.mean(axis=0), generated.mean(axis=0)
cov_r, cov_g = np.cov(real, rowvar=False), np.cov(generated, rowvar=False)

# Trace of the matrix square root of cov_r @ cov_g, via its eigenvalues
tr_covmean = np.sqrt(np.linalg.eigvals(cov_r @ cov_g)).real.sum()

# FID = squared distance between means + covariance mismatch
fid = ((mu_r - mu_g) ** 2).sum() + np.trace(cov_r) + np.trace(cov_g) - 2 * tr_covmean
print(f"FID: {fid:.2f}")

Das Skript gibt eine FID von 8.78 aus. Der verschobene Mittelwert trägt etwa 5.8 und die geringere Streuung etwa 2.6 bei. Die verbleibende halbe Einheit entsteht durch die Schätzung der Statistik anhand einer endlichen Stichprobe, was die FID stets erhöht. Bei realen Bewertungen berechnen Bibliotheken wie TorchMetrics FID die Merkmale anhand der ursprünglichen TensorFlow-Inception-Gewichte, die zusammen mit der Metrik veröffentlicht wurden. Die auf ImageNet trainierten Inception-v3-Gewichte von Torchvision unterscheiden sich. Ihre Ergebnisse lassen sich daher nicht mit veröffentlichten Resultaten vergleichen.

FID-Werte verstehen und vergleichen#

FID-Werte sind nur unter identischen Bedingungen vergleichbar: bei gleicher Referenzmenge, Bildauflösung, Stichprobengröße und Vorverarbeitung. Das Skalieren von Bildern mit einer anderen Bibliothek oder das Speichern als JPEG kann den Wert um mehrere Punkte verschieben. Dieses Problem führte zur Implementierung Clean-FID. Kleine Stichproben erhöhen den Wert künstlich. Deshalb empfehlen die ursprünglichen Autoren mindestens 10.000 Bilder. Ein Wert, der anhand von 5.000 Stichproben berechnet wurde, ist nicht mit einem Wert aus 50.000 Stichproben vergleichbar.

Zur Einordnung: StyleGAN2 erreichte bei Gesichtsaufnahmen mit 1024 x 1024 Pixeln aus dem FFHQ-Datensatz eine FID von 2.84. Bei der Zero-Shot-Text-zu-Bild-Generierung anhand von 30.000 Bildunterschriften aus MS-COCO erzielte Googles Imagen einen Wert von 7.27 gegenüber 10.39 für DALL-E 2.

Weitere Metriken für generative Bilder#

• Inception Score (IS): Bewertet ausschließlich generierte Bilder danach, mit welcher Sicherheit und Vielfalt Inception sie klassifiziert. Reale Daten werden nie betrachtet. Deshalb kann die Metrik nicht erkennen, ob ein Modell zwar scharfe, aber unpassende Bilder erzeugt.
• Kernel Inception Distance (KID): Vergleicht dieselben Inception-Merkmale mithilfe eines unverzerrten Kernel-Schätzers. Dadurch ist die Metrik bei kleinen Stichproben zuverlässiger.
• CLIP-Score: Misst, wie gut ein Bild zu seinem Text-Prompt passt. Das erfasst die FID nicht, daher geben Text-zu-Bild-Modelle üblicherweise beide Werte an.
• Präzision und Trefferquote für generative Modelle: Teilen den einzelnen FID-Wert in zwei Werte auf: Wiedergabetreue, also den Anteil generierter Bilder, die realistisch aussehen, und Abdeckung, also den Anteil der realen Vielfalt, den das Modell reproduziert.
• FD-DINOv2: Berechnet dieselbe Fréchet-Distanz anhand von Merkmalen aus DINOv2, einem selbstüberwachten Vision Transformer. George Stein und seine Kollegen schlugen die Metrik 2023 vor, nachdem eine große Studie mit Menschen ergeben hatte, dass die FID nicht widerspiegelte, wie realistisch Menschen Bilder von Diffusionsmodellen bewerteten.

Videomodelle verwenden dieselbe Idee mit der Fréchet Video Distance. Bewertungsreihen wie VBench unterteilen die Videoqualität in einzelne Dimensionen, statt sie mit einer einzigen Distanz zu messen.

FID für synthetische Trainingsdaten#

Die FID prüft auch synthetische Daten, bevor sie zum Trainieren eines Detektors verwendet werden. Wenn generierte Bilder seltener Szenen – etwa Nachtfahrten für die Kfz-Bildverarbeitung oder bestimmte Produktfehler für die Fehlererkennung – mit echten Fotos der Einsatzkamera verglichen werden, lässt sich eine Domänenlücke aufdecken, bevor Trainingszeit investiert wird. Die abschließende Prüfung ist die Genauigkeit bei der nachgelagerten Aufgabe: Trainiere Ultralytics YOLO26 mit und ohne die synthetischen Bilder und vergleiche die mittlere durchschnittliche Genauigkeit (mAP) anhand derselben zurückgehaltenen echten Bilder im Validierungsmodus.