Fréchet Inception Distance (FID)

Fréchet Inception Distance (FID) es una métrica para comparar imágenes producidas por un modelo generativo con un conjunto de referencia de imágenes reales. Convierte ambos conjuntos en características visuales aprendidas, resume cada distribución de características y mide la distancia entre ellas. Un FID más bajo generalmente indica que las imágenes generadas son más similares a las imágenes reales tanto en calidad visual como en diversidad, mientras que un FID más alto sugiere artefactos, falta de variación o una discrepancia en el contenido.

Cómo funciona Fréchet Inception Distance#

Fréchet Inception Distance evalúa conjuntos de imágenes en lugar de pares de imágenes individuales. Esto lo hace útil para evaluar sistemas de generative AI como generative adversarial networks y diffusion models.

El cálculo sigue cuatro pasos principales:

1. Las imágenes reales y generadas pasan a través de un Inception v3 feature extractor, típicamente preentrenado en ImageNet.
2. La red convierte cada imagen en un embedding, una representación numérica de sus características visuales de nivel superior.
3. Fréchet Inception Distance estima la media y la covariance matrix de los conjuntos de características reales y generadas. La media representa sus centros, mientras que la covarianza describe cómo varían las características juntas.
4. Combina la distancia al cuadrado entre las medias con la diferencia entre las matrices de covarianza. Este cálculo incluye una matrix square root.

La puntuación de Fréchet Inception Distance resultante no es negativa. Las distribuciones de características idénticas producirían cero en el límite idealizado, aunque las muestras finitas y los efectos numéricos significan que incluso dos subconjuntos de imágenes reales pueden producir una puntuación no cero.

Interpretación de una puntuación de Fréchet Inception Distance#

Lower is better, pero no existe un umbral universal para una puntuación de Fréchet Inception Distance «buena». La interpretación depende del conjunto de datos, la resolución de la imagen, el recuento de muestras, la canalización de preprocesamiento y el extractor de características. Las puntuaciones solo deben compararse cuando estas condiciones son coherentes.

Fréchet Inception Distance responde a dos aspectos importantes de las imágenes generadas:

• Fidelidad: Las imágenes borrosas, las texturas poco realistas, los objetos distorsionados y otros artefactos visuales pueden alejar las características generadas de la distribución real.
• Diversidad: Las salidas repetitivas o el model collapse reducen la variación de características, cambiando la covarianza de la distribución generada.

Sin embargo, Fréchet Inception Distance no explica por qué cambió una puntuación. También puede pasar por alto casos de fallo raros pero importantes, imágenes memorizadas, alineación incorrecta de instrucciones o dataset bias. Por lo tanto, los equipos deben combinar Fréchet Inception Distance con inspección visual, pruebas específicas de la aplicación y análisis de subgrupos.

Fréchet Inception Distance frente a métricas relacionadas#

Fréchet Inception Distance se confunde a menudo con otras métricas de generación de imágenes y visión artificial:

• Inception Score: Evalúa las imágenes generadas sin compararlas directamente con imágenes de referencia reales. Fréchet Inception Distance es generalmente más informativa sobre la discrepancia de distribución porque utiliza muestras tanto reales como generadas.
• Kernel Inception Distance: También compara distribuciones de características, pero utiliza un estimador basado en núcleos. Puede ser útil cuando la estimación eficiente en muestras o imparcial es importante.
• Mean average precision: Mide si un detector de objetos clasifica y localiza correctamente los objetos etiquetados. Fréchet Inception Distance evalúa las distribuciones de imágenes generadas, no la precisión de detección.
• Similitud perceptual: Por lo general, compara pares de imágenes correspondientes. Fréchet Inception Distance en su lugar evalúa si dos colecciones tienen estadísticas generales similares.

Aplicaciones en el mundo real#

Una aplicación práctica es evaluar synthetic data para la inspección de fabricación. Un equipo puede generar imágenes de arañazos, grietas o componentes faltantes y calcular Fréchet Inception Distance frente a fotografías retenidas de una línea de producción real. Una puntuación alta puede revelar que la iluminación, las texturas o las formas de los defectos sintéticos no se parecen a las condiciones de implementación. Después de mejorar el generador, el equipo aún debe entrenar su detector y utilizar Ultralytics validation mode para verificar el rendimiento específico de la tarea.

Un segundo ejemplo es la generación de escenas viales simuladas. Los ingenieros pueden crear imágenes nocturnas, de lluvia o de niebla para ampliar los datos de entrenamiento de conducción autónoma. Fréchet Inception Distance puede comparar cada condición sintética con fotogramas reales de ese entorno. Una gran distancia advierte de una discrepancia de dominio que podría hacer que un detector posterior aprenda fondos poco realistas o artefactos meteorológicos en lugar de características de carretera transferibles.

Ultralytics Platform dataset management puede ayudar a los equipos a organizar, inspeccionar y versionar divisiones de imágenes reales y sintéticas antes del entrenamiento y la implementación.

Cálculo de Fréchet Inception Distance en Python#

La documentada TorchMetrics FID implementation acepta lotes de imágenes reales y generadas:

import torch
from torchmetrics.image.fid import FrechetInceptionDistance

generator = torch.Generator().manual_seed(7)

real_images = torch.randint(0, 256, (64, 3, 64, 64), dtype=torch.uint8, generator=generator)
generated_images = torch.randint(32, 224, (64, 3, 64, 64), dtype=torch.uint8, generator=generator)

fid = FrechetInceptionDistance(feature=64)
fid.set_dtype(torch.float64)

fid.update(real_images, real=True)
fid.update(generated_images, real=False)

print(f"FID: {fid.compute().item():.3f}")

Este pequeño ejemplo utiliza características de 64 dimensiones para una demostración rápida. Las comparaciones de referencia estándar suelen utilizar la representación predeterminada de 2048 dimensiones y muchas más imágenes. Para una evaluación fiable, mantén fijos el preprocesamiento y el recuento de muestras, informa la configuración exacta, repite las mediciones cuando sea posible y complementa Fréchet Inception Distance con el Ultralytics model evaluation workflow cuando los datos generados admitan una tarea de visión posterior.