Frame Interpolation

استيفاء الإطارات هو تقنية في الرؤية الحاسوبية ومعالجة الفيديو تُنشئ إطارات جديدة وسيطة بين الإطارات الموجودة لزيادة معدل إطارات الفيديو وإنشاء حركة أكثر سلاسة. وبالاعتماد تقليديًا على المزج الأساسي للصور، تستخدم تقنيات استيفاء الإطارات الحديثة نماذج متقدمة من التعلم العميق (DL) لتحليل حركة الإطارات المتجاورة ومحتواها، والتنبؤ بحركات البكسلات المعقدة لإنشاء صور مستمرة عالية الجودة. ويُستخدم هذا النهج المعتمد على الذكاء الاصطناعي على نطاق واسع لتحويل اللقطات القياسية إلى وسائط ذات معدل تحديث مرتفع، وإنشاء تأثيرات الحركة البطيئة، وتثبيت التسلسلات السريعة في مختلف مجالات الوسائط المتعددة والمجالات العلمية.

آلية عمل استيفاء الإطارات المدعوم بالذكاء الاصطناعي#

تبتعد أطر الاستيفاء الحديثة عن مجرد حساب متوسط الإطارات. وبدلًا من ذلك، تعتمد على الشبكات العصبية (NNs) المعقدة واستراتيجيات تقدير الحركة المتقدمة لسد الفجوات بين المدخلات المتتابعة:

• الاستيفاء القائم على التدفق البصري: تحسب هذه الطريقة الحركة الظاهرية للبكسلات بين الإطارات. وتستخدم النماذج هذا التدفق المقدَّر لإجراء تحويل هندسي للصور المدخلة ومزجها. وعلى الرغم من سرعتها، فقد تواجه صعوبة مع حالات الحجب الشديد أو الحركات السريعة.
• البنى الالتفافية وبنى Transformer: تتعلم الشبكات العصبية الالتفافية (CNNs) العميقة ونماذج Transformer الأحدث علاقات مكانية وزمنية غنية. وهي تتعامل مع الحجب والحركة السريعة من خلال التنبؤ بالسمات السياقية عبر مجال استقبال أوسع.
• الأساليب التوليدية: تستخدم الإنجازات الحديثة نماذج الانتشار لإنشاء إطارات وسيطة. وتتيح هذه النماذج توليفًا واقعيًا من الناحية الإدراكية حتى عندما تُظهر الإطارات المدخلة فجوات حركة كبيرة، مع تكييف تقنيات مثل استيفاء إطارات الفيديو القائم على الأحداث (EVFI) لإعادة بناء الحركات عالية السرعة باستخدام بيانات مستشعرات متفرقة.

التمييز بين المفاهيم ذات الصلة#

لنشر مسارات تحسين الفيديو بفاعلية، من الضروري التمييز بين استيفاء الإطارات وتقنيات الذكاء الاصطناعي (AI) ذات الصلة:

• استيفاء الإطارات مقابل التدفق البصري: التدفق البصري مقياس منخفض المستوى يقيس اتجاه حركة البكسلات وسرعتها. أما استيفاء الإطارات فهو مهمة أعلى مستوى تستخدم غالبًا التدفق البصري أداةً أساسية لإجراء تحويل هندسي للبكسلات وإنشاء إطارات صور جديدة بالكامل.
• استيفاء الإطارات مقابل الدقة الفائقة: يزيد الاستيفاء الدقة الزمنية من خلال إضافة مزيد من الإطارات في الثانية (مثل رفع العينات زمنيًا من 30 FPS إلى 60 FPS). وعلى العكس، تزيد الدقة الفائقة الدقة المكانية من خلال تكبير أبعاد بكسلات الإطارات الفردية (مثل التحويل من 1080p إلى 4K).

أهم التطبيقات العملية#

يحل استيفاء الإطارات تحديات مهمة في صناعات متعددة من خلال سد الفجوات في البيانات المرئية:

1. بث الوسائط والرياضات: يستخدم المبدعون أدوات مثل FILM (استيفاء الإطارات للحركة الكبيرة) من Google لإنشاء تسلسلات حركة بطيئة فائقة السلاسة انطلاقًا من كاميرات قياسية. ويعزز ذلك تحليل الرياضات والتأثيرات السينمائية دون الحاجة إلى أجهزة عالية السرعة باهظة التكلفة.

2. التصوير البيولوجي والطبي: في الفحص المجهري بفاصل زمني، يعزز استيفاء الإطارات التوليدي تتبع الأجسام البيولوجية، مثل الخلايا المنقسمة أو البكتيريا المتحركة. ومن خلال توليف الحالات الوسيطة، يستطيع الباحثون تقليل تواتر التصوير الفعلي، مما يحد من السمية الضوئية ويحافظ على العينات الحساسة.

تحسين سير عمل الذكاء الاصطناعي باستخدام الفيديو المستوفى#

في التعلم الآلي، يؤدي استخدام الفيديو ذي معدل الإطارات المرتفع إلى تحسين دقة تتبع الأجسام اللاحق بشكل كبير، من خلال توفير انتقالات زمنية أكثر سلاسة وتقليل قفزات المربعات المحيطة. وبعد تنعيم الفيديو باستخدام الاستيفاء، تستطيع نماذج مثل Ultralytics YOLO26 تتبع الأجسام بسهولة عبر الإطارات المُنشأة.

يوضح المقتطف التالي من Python كيفية تتبع الأجسام في فيديو مستوفى ذي معدل FPS مرتفع باستخدام الحزمة ultralytics:

from ultralytics import YOLO

# Load the latest state-of-the-art YOLO26 model
model = YOLO("yolo26n.pt")

# Run persistent object tracking on the temporally up-sampled video
# The tracker uses the smooth motion to preserve object IDs more accurately
results = model.track(source="interpolated_high_fps_video.mp4", show=True, tracker="botsort.yaml")

بالنسبة إلى معالجة الفيديو على نطاق واسع، يمكن للفرق استخدام منصة Ultralytics لأتمتة تعليق البيانات على مجموعات البيانات المستوفاة، مما يتيح التدريب السحابي السلس ونشر النماذج المتين لمسارات فهم الفيديو المعقدة.