Fréchet Inception Distance (FID)

Fréchet Inception Distance (FID) — это метрика для сравнения изображений, созданных генеративной моделью, с эталонным набором реальных изображений. Она преобразует оба набора в изученные визуальные признаки, суммирует распределение каждого признака и измеряет расстояние между ними. Более низкий показатель FID обычно указывает на то, что сгенерированные изображения больше похожи на реальные как по визуальному качеству, так и по разнообразию, в то время как более высокий показатель FID говорит о наличии артефактов, недостатке вариативности или несоответствии контента.

Как работает FID#

FID оценивает наборы изображений, а не отдельные пары изображений. Это делает метрику полезной для оценки систем герирующего искусственного интеллекта, таких как генеративно-состязательные сети и диффузионные модели.

Расчет состоит из четырех основных этапов:

1. Реальные и сгенерированные изображения проходят через модуль извлечения признаков Inception v3, который обычно предварительно обучен на ImageNet.
2. Сеть преобразует каждое изображение в эмбеддинг — числовое представление его высокоуровневых визуальных характеристик.
3. FID оценивает среднее значение и матрицу ковариации для наборов реальных и сгенерированных признаков. Среднее значение отражает их центры, а ковариация описывает то, как признаки изменяются совместно.
4. Метрика объединяет квадратичное расстояние между средними значениями с разницей между матрицами ковариации. Этот расчет включает квадратный корень матрицы.

Полученное значение FID неотрицательно. Идентичные распределения признаков в идеальном пределе давали бы ноль, хотя конечные выборки и числовые эффекты приводят к тому, что даже два подмножества реальных изображений могут давать ненулевой результат.

Интерпретация оценки FID#

Чем ниже, тем лучше, но универсального порога для «хорошей» оценки FID не существует. Интерпретация зависит от датасета, разрешения изображений, размера выборки, конвейера предварительной обработки и модуля извлечения признаков. Сравнивать оценки следует только при условии постоянства этих факторов.

FID реагирует на два важных аспекта сгенерированных изображений:

• Достоверность: Размытые изображения, нереалистичные текстуры, искаженные объекты и другие визуальные артефакты могут сместить сгенерированные признаки относительно реального распределения.
• Разнообразие: Повторяющиеся результаты или коллапс модели снижают вариативность признаков, изменяя ковариацию сгенерированного распределения.

Тем не менее, FID не объясняет, почему оценка изменилась. Метрика также может упускать редкие, но важные случаи сбоев, запоминающиеся изображения, некорректное сопоставление с промптами или предвзятость датасета. Поэтому командам следует сочетать FID с визуальным осмотром, специфичными для приложения тестами и анализом подгрупп.

FID и связанные с ней метрики#

FID часто путают с другими метриками генерации изображений и компьютерного зрения:

• Inception Score: Оценивает сгенерированные изображения без их прямого сравнения с реальными эталонными изображениями. FID обычно более информативна в отношении несоответствия распределений, так как использует как реальные, так и сгенерированные образцы.
• Kernel Inception Distance: Также сравнивает распределения признаков, но использует оценщик на основе ядер. Эта метрика может быть полезна, когда важна эффективная оценка по выборке или получение несмещенных результатов.
• Средняя точность в среднем (mAP): Измеряет, правильно ли детектор объектов классифицирует и локализует размеченные объекты. FID оценивает распределения сгенерированных изображений, а не точность детектирования.
• Пецептивное сходство: Обычно сравнивает соответствующие пары изображений. FID вместо этого оценивает, имеют ли две коллекции схожую общую статистику.

Практические применения#

Одним из практических применений является оценка синтетических данных для производственного контроля. Команда может генерировать изображения царапин, трещин или отсутствующих компонентов и вычислять FID по отложенным фотографиям с реальной производственной линии. Высокий показатель может выявить, что синтетическое освещение, текстуры или формы дефектов не соответствуют условиям эксплуатации. После улучшения генератора команде все равно следует обучить свой детектор и использовать режим валидации Ultralytics для проверки производительности для конкретной задачи.

Второй пример — генерация смоделированных дорожных сцен. Инженеры могут создавать изображения ночного времени, дождя или тумана для расширения обучающих данных для автономного вождения. FID может сравнить каждое синтетическое условие с реальными кадрами из этой среды. Большое расстояние предупреждает о несоответствии доменов, из-за которого детектор в дальнейшем может изучать нереалистичные фоны или погодные артефакты вместо переносимых дорожных признаков.

Управление датасетами на платформе Ultralytics Platform может помочь командам организовывать, проверять и версионировать разделы реальных и синтетических изображений перед обучением и развертыванием.

Расчет FID на Python#

Задокументированная реализация TorchMetrics FID принимает батчи реальных и сгенерированных изображений:

import torch
from torchmetrics.image.fid import FrechetInceptionDistance

generator = torch.Generator().manual_seed(7)

real_images = torch.randint(0, 256, (64, 3, 64, 64), dtype=torch.uint8, generator=generator)
generated_images = torch.randint(32, 224, (64, 3, 64, 64), dtype=torch.uint8, generator=generator)

fid = FrechetInceptionDistance(feature=64)
fid.set_dtype(torch.float64)

fid.update(real_images, real=True)
fid.update(generated_images, real=False)

print(f"FID: {fid.compute().item():.3f}")

Этот небольшой пример использует 64-мерные признаки для быстрой демонстрации. Стандартные сравнения по бенчмаркам обычно используют стандартное 2048-мерное представление и гораздо большее количество изображений. Для надежной оценки сохраняйте неизменными предварительную обработку и размеры выборок, указывайте точную конфигурацию, повторяйте измерения по возможности и дополняйте FID рабочим процессом оценки моделей Ultralytics, когда сгенерированные данные поддерживают задачу компьютерного зрения.