Yolo فيجن شنتشن
شنتشن
انضم الآن
مسرد المصطلحات

استكمال الإطارات

اكتشف كيف يستخدم استكمال الإطارات تقنية الذكاء الاصطناعي لإنتاج مقاطع فيديو سلسة ذات معدل إطارات مرتفع. تعلم كيفية تحسين تتبع الكائنات باستخدام Ultralytics Ultralytics .

يُعد استكمال الإطارات تقنية في مجال الرؤية الحاسوبية ومعالجة الفيديو تعمل على توليف إطارات جديدة وسيطة بين الإطارات الموجودة لزيادة معدل إطارات الفيديو وإنتاج حركة أكثر سلاسة. وفي حين كانت هذه التقنية تعتمد تقليديًا على المزج الأساسي للصور، فإن تقنية استكمال الإطارات الحديثة تستخدم نماذج متقدمة للتعلم العميق (DL) لتحليل حركة ومحتوى الإطارات المتجاورة، وتوقع حركات البكسل المعقدة لتوليد صور متصلة عالية الجودة. يتم اعتماد هذا النهج المدعوم بالذكاء الاصطناعي على نطاق واسع لتحويل اللقطات القياسية إلى وسائط ذات معدل تحديث مرتفع، وتوليف تأثيرات الحركة البطيئة، وتثبيت التسلسلات سريعة الوتيرة في مختلف مجالات الوسائط المتعددة والمجالات العلمية.

كيفية عمل تقنية استكمال الإطارات المدعومة بالذكاء الاصطناعي

تختلف أطر الاستكمال الحديثة عن طريقة حساب متوسط الإطارات البسيطة. بل تعتمد بدلاً من ذلك على الشبكات العصبية المعقدة واستراتيجيات تقدير الحركة المتطورة لملء الفجوات بين المدخلات المتسلسلة:

  • الاستيفاء القائم على التدفق البصري: تحسب هذه الطريقة الحركة الظاهرية للبكسلات بين الإطارات. وتستخدم النماذج هذا التدفق المقدر لتشويه الصور المدخلة ومزجها. ورغم سرعة هذه الطريقة، إلا أنها قد تواجه صعوبات في التعامل مع حالات الحجب الكثيفة أو الحركات السريعة.
  • البنى التلافيفية وبنى "ترانسفورمر": تتعلم الشبكات العصبية التلافيفيةالعميقة (CNN) ونماذج "ترانسفورمر" الأحدث العلاقات المكانية والزمنية المعقدة. كما تتعامل مع حالات الحجب والحركة السريعة من خلال توقع السمات السياقية عبر مجال استقبال أوسع.
  • النهج التوليدية: تستخدم الاكتشافات الحديثة نماذج الانتشار لتوليد إطارات وسيطة. تتيح هذه النماذج توليفًا واقعيًا من الناحية الحسية حتى عندما تتضمن الإطارات المدخلة فجوات كبيرة في الحركة، من خلال تكييف تقنيات مثل استيفاء إطارات الفيديو القائم على الأحداث (EVFI) من أجل إعادة بناء الحركات عالية السرعة باستخدام بيانات مستشعرات متفرقة.

التمييز بين المفاهيم ذات الصلة

من أجل نشر مسارات تحسين الفيديو بفعالية، من الضروري التمييز بين استكمال الإطارات وتقنيات الذكاء الاصطناعي (AI) ذات الصلة:

  • الاستيفاء بين الإطارات مقابل التدفق البصري: التدفق البصري هو مقياس من المستوى الأدنى يقيس اتجاه وسرعة حركة البكسلات. أما الاستيفاء بين الإطارات فهو مهمة من المستوى الأعلى غالبًا ما تستخدم التدفق البصري كأداة أساسية لتشويه البكسلات وإنشاء إطارات صور جديدة تمامًا.
  • الاستكمال الإطاري مقابل الدقة الفائقة: يعمل الاستكمال الإطاري على زيادة الدقة الزمنية عن طريق إضافة المزيد من الإطارات في الثانية (على سبيل المثال، زيادة الدقة الزمنية من 30 إطارًا في الثانية إلى 60 إطارًا في الثانية). وعلى العكس من ذلك، تعمل الدقة الفائقة على زيادة الدقة المكانية عن طريق رفع دقة أبعاد البكسل في الإطارات الفردية (على سبيل المثال، من 1080p إلى 4K).

التطبيقات الرئيسية في الحياة العملية

يحل استكمال الإطارات التحديات الحرجة في العديد من القطاعات من خلال سد الثغرات في البيانات المرئية:

  1. وسائل الإعلام والبث الرياضي: يستخدم المبدعون أدوات مثل FILM (تقنية استكمال الإطارات للحركة الكبيرة) Google لإنتاج لقطات بطيئة فائقة السلاسة باستخدام كاميرات عادية. وهذا يعزز التحليل الرياضي والتأثيرات السينمائية دون الحاجة إلى أجهزة عالية السرعة باهظة الثمن.
  2. التصوير البيولوجي والطبي: في مجال الفحص المجهري بفاصل زمني، يعزز الاستيفاء التوليدي للإطارات تتبع الكائنات البيولوجية، مثل الخلايا المنقسمة أو البكتيريا المتحركة. ومن خلال توليف الحالات الوسيطة، يمكن للباحثين تقليل وتيرة عمليات التصوير الفعلي، مما يحد من السمية الضوئية ويحافظ على العينات الحساسة.

تحسين سير عمل الذكاء الاصطناعي باستخدام الفيديو المُستكمل

في مجال التعلم الآلي، يؤدي استخدام مقاطع الفيديو ذات معدل الإطارات العالي إلى تحسين دقة تتبع الأجسام في المراحل اللاحقة بشكل كبير، وذلك من خلال توفير انتقالات زمنية أكثر سلاسة وتقليل القفزات في مربعات الحدود. وبمجرد تنعيم مقطع الفيديو عن طريق الاستيفاء، يمكن لنماذج مثل Ultralytics track بسهولة عبر الإطارات المركبة.

ما يلي Python يوضح هذا المقتطف كيفية track في فيديو مُحسَّن بمعدل إطارات مرتفع باستخدام ultralytics الحزمة:

from ultralytics import YOLO

# Load the latest state-of-the-art YOLO26 model
model = YOLO("yolo26n.pt")

# Run persistent object tracking on the temporally up-sampled video
# The tracker uses the smooth motion to preserve object IDs more accurately
results = model.track(source="interpolated_high_fps_video.mp4", show=True, tracker="botsort.yaml")

بالنسبة لمعالجة مقاطع الفيديو على نطاق واسع، يمكن للفرق الاستفادة من Ultralytics لأتمتة عملية تعليق البيانات على مجموعات البيانات المستكملة، مما يتيح تدريبًا سلسًا على السحابة ونشرًا قويًا للنماذج في مسارات معالجة فهم مقاطع الفيديو المعقدة.

لنبني مستقبل الذكاء الاصطناعي معًا!

ابدأ رحلتك مع مستقبل تعلم الآلة