Fréchet Inception Distance (FID)

مسافة فريشيه إنشيبشن (FID) هي مقياس لمقارنة الصور التي تنتجها نماذج التوليد مع مجموعة مرجعية من الصور الحقيقية. تحول مسافة فريشيه إنشيبشن (FID) المجموعتين إلى ميزات بصرية متعلمة، وتلخص توزيع كل ميزة، وتقيس المسافة بينهما. تشير مسافة فريشيه إنشيبشن (FID) الأقل عمومًا إلى أن الصور المولدة أكثر تشابهًا مع الصور الحقيقية من حيث الجودة البصرية والتنوع، بينما تشير مسافة فريشيه إنشيبشن (FID) الأعلى إلى وجود عيوب أو تباين مفقود أو عدم تطابق في المحتوى.

كيف تعمل مسافة فريشيه إنشيبشن (FID)#

تقيم مسافة فريشيه إنشيبشن (FID) مجموعات الصور بدلاً من أزواج الصور الفردية. هذا يجعل مسافة فريشيه إنشيبشن (FID) مفيدة لتقييم أنظمة الذكاء الاصطناعي التوليدي مثل شبكات الخصومة التوليدية ونماذج الانتشار.

يتبع الحساب أربع خطوات رئيسية:

1. تمر الصور الحقيقية والمولدة عبر مستخرج ميزات Inception v3، والذي عادة ما يكون مدربًا مسبقًا على ImageNet.
2. تقوم الشبكة بتحويل كل صورة إلى تضمين، وهو تمثيل عددي لخصائصها البصرية ذات المستوى الأعلى.
3. تقدر مسافة فريشيه إنشيبشن (FID) المتوسط ومصفوفة التباين المشترك لمجموعتي الميزات الحقيقية والمولدة. يمثل المتوسط مراكزها، بينما يصف التباين المشترك كيف تتباين الميزات معًا.
4. تجمع مسافة فريشيه إنشيبشن (FID) بين المسافة المربعة بين المتوسطات والفرق بين مصفوفات التباين المشترك. يتضمن هذا الحساب الجذر التربيعي للمصفوفة.

نتيجة حساب مسافة فريشيه إنشيبشن (FID) تكون غير سالبة. ستنتج توزيعات الميزات المتطابقة صفرًا في الحد المثالي، على الرغم من أن العينات المحدودة والتاثيرات العددية تعني أن حتى مجموعتين فرعيتين من الصور الحقيقية يمكن أن تنتجا درجة غير صفرية.

تفسير درجة مسافة فريشيه إنشيبشن (FID)#

الأقل هو الأفضل، ولكن لا توجد عتبة عالمية لدرجة "جيدة" لمسافة فريشيه إنشيبشن (FID). يعتمد التفسير على مجموعة البيانات، ودقة الصور، وعدد العينات، وخط أنابيب المعالجة المسبقة، ومستخرج الميزات. يجب عدم مقارنة الدرجات إلا عندما تكون هذه الظروف متسقة.

تستجيب مسافة فريشيه إنشيبشن (FID) لجانبين مهمين من الصور المولدة:

• الدقة: يمكن للصور الضبابية، والقوام غير الواقعي، والأجسام المشوهة، وغيرها من العيوب البصرية أن تبعد الميزات المولدة عن التوزيع الحقيقي.
• التنوع: تعمل المخرجات المتكررة أو انهيار النموذج على تقليل تباين الميزات، مما يغير التباين المشترك للتوزيع المولد.

ومع ذلك، لا توضح مسافة فريشيه إنشيبشن (FID) سبب تغير الدرجة. قد تتغاضى مسافة فريشيه إنشيبشن (FID) أيضًا عن حالات الفشل النادرة ولكن المهمة، أو الصور المحفوظة في الذاكرة، أو محاذاة التوجيه غير الصحيحة، أو تحيز مجموعة البيانات. لذلك يجب على الفرق دمج مسافة فريشيه إنشيبشن (FID) مع الفحص البصري، والاختبارات الخاصة بالaplikation، وتحليل المجموعات الفرعية.

مسافة فريشيه إنشيبشن (FID) مقابل المقاييس ذات الصلة#

غالباً ما يتم الخلط بين مسافة فريشيه إنشيبشن (FID) ومقاييس توليد الصور ورؤية الكمبيوتر الأخرى:

• درجة Inception: تقيم الصور المولدة دون مقارنتها مباشرة بصور مرجعية حقيقية. تعتبر مسافة فريشيه إنشيبشن (FID) عمومًا أكثر غنى بالمعلومات حول عدم تطابق التوزيع لأنها تستخدم عينات حقيقية ومولدة.
• مسافة نواة Inception: تقارن أيضًا توزيعات الميزات ولكنها تستخدم مقدرًا قائمًا على النواة. يمكن أن تكون مسافة نواة Inception مفيدة عندما يكون التقدير الفعال للعينات أو غير المتحيز مهمًا.
• متوسط الدقة المتوسطة: يقيس ما إذا كان مكتشف الأجسام يحدد ويصنف الأجسام المرماة بشكل صحيح. تقيم مسافة فريشيه إنشيبشن (FID) توزيعات الصور المولدة، وليس دقة الكشف.
• التشابه الإدراكي: عادة ما يقارن أزواج الصور المقابلة. تقم مسافة فريشيه إنشيبشن (FID) بدلاً من ذلك تقييم ما إذا كان لمجموعتين إحصائيات عامة متشابهة.

التطبيقات الواقعية#

أحد التطبيقات العملية هو تقييم البيانات الاصطناعية لفحص التصنيع. قد يقوم الفريق بتوليد صور للخدوش أو الشقوق أو المكونات المفقودة وحساب مسافة فريشيه إنشيبشن (FID) مقابل الصور المحفوظة من خط إنتاج حقيقي. يمكن أن يكشف التقييم ذو الدرجة العالية عن أن الإضاءة أو القوام أو أشكال العيوب الاصطناعية لا تشبه ظروف نشر النظام. بعد تحسين المولد، يجب على الفريق مع ذلك تدريب كاشفهم واستخدام وضع التحقق من صحة Ultralytics للتحقق من الأداء الخاص بالمهمة.

مثال ثانٍ هو توليد مشاهد الطرق المحاكية. قد ينشئ المهندسون صورًا لليل أو المطر أو الضباب لتوسيع بيانات تدريب القيادة الذاتية. يمكن لمسافة فريشيه إنشيبشن (FID) مقارنة كل شرط اصطناعي بإطارات حقيقية من تلك البيئة. تحذر مسافة المسافة الكبيرة من عدم تطابق النطاق الذي قد يتسبب في تعلم كاشف لاحق لخلفيات غير واقعية أو آثار طقس بدلاً من ميزات الطريق القابلة للنقل.

يمكن أن تساعد إدارة مجموعة بيانات منصة Ultralytics الفرق على تنظيم وفحص وتعيين إصدارات مجموعات الصور الحقيقية والاصطناعية قبل التدريب والنشر.

حساب مسافة فريشيه إنشيبشن (FID) في Python#

يقبل تنفيذ TorchMetrics FID الموثق دفعات من الصور الحقيقية والمولدة:

import torch
from torchmetrics.image.fid import FrechetInceptionDistance

generator = torch.Generator().manual_seed(7)

real_images = torch.randint(0, 256, (64, 3, 64, 64), dtype=torch.uint8, generator=generator)
generated_images = torch.randint(32, 224, (64, 3, 64, 64), dtype=torch.uint8, generator=generator)

fid = FrechetInceptionDistance(feature=64)
fid.set_dtype(torch.float64)

fid.update(real_images, real=True)
fid.update(generated_images, real=False)

print(f"FID: {fid.compute().item():.3f}")

يستخدم هذا المثال الصغير ميزات ذات 64 بعدًا لعرض سريع. تستخدم مقارنات المعايير القياسية عادةً التمثيل الافتراضي البالغ 2048 بعدًا والعديد من الصور الأخرى. للتقييم الموثوق، حافظ على ثبات المعالجة المسبقة وعدد العينات، وأبلغ عن التكوين الدقيق، وكرر القياسات عندما يكون ذلك ممكنًا، وقم بتکملة مسافة فريشيه إنشيبشن (FID) باستخدام سير عمل تقييم نموذج Ultralytics عندما تدعم البيانات المولدة مهمة رؤية لاحقة.