Temporal Consistency

الاتساق الزمني هو مدى توافق مخرجات نظام الذكاء الاصطناعي عبر الزمن مع تغيّر المشهد الأساسي. وفي الفيديو، يعني ذلك احتفاظ الأجسام بهويات ومظاهر وخصائص متوقعة متماسكة عبر الإطارات، مع بقاء حركتها وفية للمشهد. ويحافظ التسلسل المتسق زمنيًا على الاستمرارية والتغيّر الفعلي معًا. ويشيع استخدام مصطلح التماسك الزمني مرادفًا له في الرؤية الحاسوبية.

خارج مجال الذكاء الاصطناعي، يصف الاتساق الزمني أيضًا التوافق بين سجلات قواعد البيانات المعتمدة على الزمن أو استقرار القياسات النفسية المتكررة.

آلية عمل الاتساق الزمني#

يلتقط إطار الفيديو لحظة واحدة؛ وتوفر الإطارات المجاورة أدلة على تطور المشهد نفسه. وقد تؤدي معالجة الإطارات بصورة مستقلة إلى وميض الألوان، أو عدم استقرار تقديرات العمق، أو تغيّر حدود التجزئة. وقد ثبّت نيكولا بونيل وزملاؤه الفيديو المعالَج باستخدام المعلومات الزمنية من التسلسل الأصلي، بما في ذلك تطبيقات التحسين وإضفاء الأنماط والتنبؤ بالعمق، في عملهم الاتساق الزمني الأعمى للفيديو المنشور عام 2015.

يُعد تحديد المطابقة—أي تحديد المواقع التي تمثل محتوى المشهد نفسه—أساسيًا لتحقيق الاتساق. وتقدّر التدفقات البصرية حركة البكسلات بين الإطارات. وتنقل عملية التشويه التنبؤ السابق إلى إحداثيات الإطار الحالي، ما يتيح المقارنة بين المواقع المتناظرة. وتحدد أقنعة الحجب المناطق التي يحجبها سطح آخر، حيث لا تتوفر مطابقة مباشرة. وقد جمع مانويل رودر وأليكسي دوسوفيتسكي وتوماس بروكس هذه الآليات مع قيود قصيرة الأمد وطويلة الأمد في طريقتهم لنقل أسلوب الفيديو لعام 2016.

يتعلق الاتساق المكاني بالعلاقات داخل إطار واحد، بينما يتعلق الاتساق الزمني بالعلاقات بين الإطارات. ويُعد الحفاظ على الهوية أحد مكوناته: فقد يحتفظ جسم بهويته بينما يستمر نسيجه في الوميض.

خسارة الاتساق الزمني والتدريب#

تعاقب خسارة الاتساق الزمني على الاختلاف بين التنبؤات المتناظرة في أوقات مختلفة. وهي تعمل بمثابة تنظيم، إذ تشجع النموذج على الحفاظ على المعلومات التي تدعمها الإطارات المجاورة. وفي إضفاء الأنماط على الفيديو، تقارن دالة خسارة مربعات الخطأ المحاذاة للحركة بين وحدات البكسل المرئية المتناظرة، إلى جانب أهداف تحافظ على المحتوى والأسلوب الفني. وتساعد المقارنات طويلة الأمد على الحفاظ على المظهر عند ظهور المناطق التي كانت مخفية سابقًا مجددًا.

بالنسبة إلى قيم البكسلات المحاذاة مسبقًا، يمكن التعبير عن مكوّن مربعات الخطأ باستخدام عملية متوسط مربع الخطأ في PyTorch:

import torch
import torch.nn.functional as F

previous_aligned = torch.tensor([[0.2, 0.4], [0.6, 0.8]])
current = torch.tensor([[0.3, 0.5], [0.7, 0.1]])
visible = torch.tensor([[True, True], [True, False]])

# Compare only corresponding pixels visible in both frames.
pixel_errors = F.mse_loss(current, previous_aligned, reduction="none")
temporal_loss = pixel_errors[visible].mean()
print(f"Temporal consistency loss: {temporal_loss.item():.4f}")

الناتج هو 0.0100: متوسط مربع الاختلاف عبر ثلاث نقاط متناظرة مرئية. ولا يسهم الموقع المحجوب في الخسارة.

وتحافظ آليات أخرى على المعلومات عبر شبكة عصبية متكررة، أو تنقلها عبر الانتباه الزمني. وتنقل هذه الأساليب السياق بين الإطارات أثناء المعالجة، كما في الشبكة المتكررة للاتساق الزمني الأعمى للفيديو التي قدمها واي-شنغ لاي وزملاؤه عام 2018.

تطبيقات ذكاء الفيديو#

يؤثر الاتساق الزمني في كل من تفسير الفيديو وتوليد الصور:

• تحرير الفيديو: يؤدي نقل الأسلوب العصبي المستقل عن الإطارات إلى إنتاج أنسجة متغيرة تظهر على شكل وميض عند تشغيل الفيديو. وتعمل القيود الموجّهة بالحركة على تثبيت المظهر الذي أُضفي عليه الأسلوب أثناء تحرك الأجسام.
• تجزئة الفيديو: تتبع الأقنعة المتسقة حدود الأجسام بمرور الوقت. ويوفر معيار DAVIS تسلسلات فيديو مشروحة بكثافة لتقييم التجزئة أثناء الحركة والحجب.
• توليد الفيديو: يشمل التماسك الزمني استقرار الأجسام والخلفيات، والحد من الوميض، وسلاسة الحركة. وتُقيّم هذه الخصائص كلٌّ على حدة ضمن VBench.

في تتبّع الأجسام المتعددة، يتمحور الاتساق حول ربط عمليات الكشف بهويات مستمرة. ويطبّق وضع التتبّع في Ultralytics YOLO متتبعات مثل ByteTrack لربط عمليات الكشف عن YOLO26 عبر الإطارات؛ وتستخدم مرحلة الربط الثانية عمليات الكشف الأقل ثقة لاستعادة المسارات عند حدوث حجب جزئي.

قياس الاتساق الزمني#

يعتمد التقييم على نوع المخرجات. ففي الفيديو المعالَج، يقيس خطأ التشويه المعوّض عن الحركة الاختلاف بين المخرجات المحاذاة؛ ويشير انخفاض الخطأ إلى توافق محلي أقوى. أما في التتبّع، فتحصي تبديلات الهوية التغيّرات في المعرّف المخصّص للجسم. ويجمع HOTA بين دقة الكشف والربط، ويقيّم ربط الهويات عبر التسلسل.

يفصل تقييم الفيديو المُولّد بين استقرار المظهر والحركة. ويقيس VBench اتساق الأجسام، واتساق الخلفية، والوميض الزمني، وسلاسة الحركة، ودرجة الديناميكية. ويساعد قياس الحركة إلى جانب الاستقرار على التمييز بين الحركة المتماسكة والتسلسل شبه الثابت: إذ تستخدم درجة سلاسة الحركة نموذجًا لـاستيفاء الإطارات، بينما تستخدم درجة الديناميكية التدفق البصري لتقدير مقدار الحركة.