Fréchet Inception Distance (FID)

La distance de Fréchet-Inception (FID) mesure la qualité d'un modèle génératif d'images en comparant les statistiques des images qu'il génère à celles d'images réelles. Les deux ensembles passent par un réseau Inception v3 préentraîné ; les caractéristiques de chaque ensemble sont résumées sous forme de loi normale multivariée comprenant une moyenne et une covariance, et la FID correspond à la distance de Fréchet entre les deux lois normales. Plus le score est bas, mieux c'est ; un score de zéro signifie que les deux ensembles de caractéristiques ont des moyennes et des covariances identiques. En 2017, Martin Heusel et ses collègues de l'Université Johannes Kepler de Linz ont présenté la FID dans l'article GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium. Elle a rapidement remplacé l'Inception Score comme métrique standard pour les réseaux antagonistes génératifs (GANs), puis pour les modèles de diffusion.

Calcul de la FID#

1. Génère un grand échantillon d’images, généralement 50,000, et réunis un ensemble de référence d’images réelles, habituellement le jeu de données d’entraînement.
2. Redimensionne chaque image en 299 x 299 pixels et fais-la passer dans Inception v3, un réseau neuronal convolutif entraîné à la classification d'images sur ImageNet, puis conserve en tant qu'embedding de l'image la sortie de 2 048 dimensions de sa dernière couche de pooling.
3. Calcule le vecteur moyen et la matrice de covariance des embeddings réels et des embeddings générés.
4. Combine-les : FID = (distance au carré entre les deux moyennes) + trace(C_real + C_gen - 2 x sqrt(C_real x C_gen)), où sqrt désigne la racine carrée matricielle.

Le premier terme augmente lorsque les images générées diffèrent en moyenne des images réelles, par exemple en raison d'une dominante de couleur ou d'un contenu mal assorti. Le second augmente lorsque leur variété est inadéquate, comme lors d'un effondrement des modes, un échec des GAN où le générateur ne produit que quelques types de résultats. Un seul nombre reflète donc à la fois la fidélité et la diversité, ce qui explique pourquoi la FID est devenue le score par défaut des systèmes texte-vers-image, comme Stable Diffusion.

Même calcul en NumPy, sur des vecteurs de caractéristiques simulés de 64 dimensions :

import numpy as np

rng = np.random.default_rng(0)

# Simulated 64-D feature vectors for 5,000 real and 5,000 generated images
real = rng.normal(0.0, 1.0, size=(5000, 64))
generated = rng.normal(0.3, 0.8, size=(5000, 64))  # shifted mean, less variety

# Summarize each set as a Gaussian: a mean vector and a covariance matrix
mu_r, mu_g = real.mean(axis=0), generated.mean(axis=0)
cov_r, cov_g = np.cov(real, rowvar=False), np.cov(generated, rowvar=False)

# Trace of the matrix square root of cov_r @ cov_g, via its eigenvalues
tr_covmean = np.sqrt(np.linalg.eigvals(cov_r @ cov_g)).real.sum()

# FID = squared distance between means + covariance mismatch
fid = ((mu_r - mu_g) ** 2).sum() + np.trace(cov_r) + np.trace(cov_g) - 2 * tr_covmean
print(f"FID: {fid:.2f}")

Le script affiche une FID de 8.78. La moyenne décalée contribue à hauteur d’environ 5.8 et la dispersion plus faible à hauteur d’environ 2.6. Le demi-point restant vient de l’estimation des statistiques à partir d’un échantillon fini, qui augmente toujours la FID. Pour les évaluations réelles, des bibliothèques comme TorchMetrics FID calculent les caractéristiques à l’aide des poids Inception TensorFlow d’origine, publiés avec la métrique. Inception v3 de Torchvision, entraîné sur ImageNet, utilise des poids différents ; ses scores ne sont donc pas comparables aux résultats publiés.

Lire et comparer les scores FID#

Les valeurs de FID ne sont comparables qu'à conditions identiques : même jeu de référence, même résolution d'image, même nombre d'échantillons et même prétraitement. Le redimensionnement des images avec une autre bibliothèque ou leur enregistrement en JPEG peut modifier le score de plusieurs points, un problème qui a motivé l'implémentation Clean-FID. Comme les petits échantillons gonflent le score, les auteurs de l'article original recommandent au moins 10 000 images ; un score calculé sur 5 000 échantillons n'est donc pas comparable à un score calculé sur 50 000.

À titre indicatif, StyleGAN2 a atteint une FID de 2,84 sur des images de visages FFHQ de 1024 x 1024 pixels ; pour la génération texte-vers-image sans exemples sur 30 000 légendes MS-COCO, Imagen de Google a obtenu un score de 7,27, contre 10,39 pour DALL-E 2.

Autres métriques pour les images génératives#

• Score Inception (IS) : Il évalue uniquement les images générées, en fonction de la confiance et de la diversité des classes attribuées par Inception. Il ne consulte jamais les données réelles et ne peut donc pas détecter un modèle qui produit des images nettes, mais du mauvais type.
• Distance de noyau Inception (KID) : Elle compare les mêmes caractéristiques Inception à l'aide d'un estimateur à noyau non biaisé, ce qui la rend plus fiable pour les petits échantillons.
• Score CLIP : Il mesure la correspondance entre une image et son invite textuelle, un aspect que la FID ne prend pas en compte ; les modèles texte-vers-image publient donc généralement les deux scores.
• Précision et rappel des modèles génératifs : Ces mesures décomposent le score unique de la FID en fidélité — la proportion d'images générées qui semblent réelles — et en couverture — la part de la variété réelle reproduite par le modèle.
• FD-DINOv2 : Cette méthode calcule la même distance de Fréchet sur les caractéristiques de DINOv2, un transformer de vision auto-supervisé. George Stein et ses collègues l'ont proposée en 2023, après qu'une vaste étude auprès de personnes a révélé que la FID ne reflétait pas le réalisme perçu des images produites par les modèles de diffusion.

Les modèles vidéo utilisent la même idée avec la distance de Fréchet vidéo, et des suites comme VBench décomposent la qualité vidéo en dimensions distinctes au lieu de la résumer par une seule distance.

FID pour les données d'entraînement synthétiques#

La FID permet aussi d'évaluer les données synthétiques avant de les utiliser pour entraîner un détecteur. Évaluer les images générées de scènes rares — comme la conduite de nuit pour la vision automobile ou des défauts de produits spécifiques pour la détection de défauts — en les comparant à des photos réelles prises par la caméra de déploiement révèle un écart de domaine avant d'engager du temps d'entraînement. La vérification finale porte sur la précision en aval : entraîne Ultralytics YOLO26 avec et sans les images synthétiques, puis compare la précision moyenne (mAP) sur les mêmes images réelles mises de côté en mode validation.