Video Understanding

فهم الفيديو مجال من الرؤية الحاسوبية يفسر ما يحدث في الفيديو بمرور الوقت: الأجسام والأشخاص الموجودون، وما يفعلونه، ومتى تبدأ الأحداث وتنتهي، وكيف يؤدي حدث إلى آخر. تحلل المعالجة الآلية للصور كل إطار بمعزل عن غيره، بينما تنمذج نماذج فهم الفيديو الحركة والترتيب الزمني، وهما عنصران تعتمد عليهما أسئلة كثيرة. يُظهر إطار واحد شخصًا في منتصف الجلوس على كرسي، ولا تكشف إلا الإطارات المحيطة به ما إذا كان يجلس أم ينهض. ويتراوح المجال من تصنيف المقاطع القصيرة إلى الإجابة عن أسئلة مفتوحة حول ساعات من اللقطات.

المهام الأساسية#

• التعرّف على الأفعال: يسند تصنيفًا واحدًا، مثل «تمرين الضغط» أو «السقوط»، إلى مقطع قصير مقتطع.
• تحديد مواضع الأفعال زمنيًا: يحدد وقت بدء كل فعل وانتهائه في فيديو طويل غير مقتطع، كما يحدد كشف الأفعال المكاني الزماني موضع كل فاعل في كل إطار بمربع إحاطة.
• تتبّع الأجسام: يتابع كل جسم عبر الإطارات بمعرّف ثابت، وهو أساس العد وقياس السرعة وتحليل المسار.
• تقسيم الفيديو: ينتج أقنعة بكسلية للأجسام أو مناطق المشهد تظل متسقة من إطار إلى آخر.
• وصف الفيديو والإجابة عن الأسئلة: يصف مقطعًا نصيًا أو يجيب عن أسئلة مثل «ماذا فعل السائق قبل أن تتوقف السيارة؟».
• التأريض الزمني: يحدد اللحظة التي تطابق جملةً مثل «يمسك حارس المرمى الكرة»، وتُسمى هذه المهمة أيضًا استرجاع اللحظات.
• كشف الحالات الشاذة: يرصد الأحداث غير المعتادة، مثل السقوط أو الشجار أو قيادة مركبة في الاتجاه الخاطئ.

آلية عمل نماذج الفيديو#

يجب أن تلتقط نماذج الفيديو المظهر، أي شكل الأجسام، والحركة، أي كيفية تغيرها. عالجت الشبكات ثنائية المسار إطارات RGB والتدفق البصري في فرعين منفصلين؛ وتُجري الشبكات العصبية الالتفافية (CNNs) ثلاثية الأبعاد التفافًا عبر الارتفاع والعرض والزمن معًا؛ بينما تمنح وحدة الإزاحة الزمنية شبكات CNN ثنائية الأبعاد نمذجة زمنية بلا كلفة حوسبية إضافية، وذلك بإزاحة جزء من قنوات كل طبقة إلى الإطارات المجاورة. وتطبّق محوّلات الفيديو الانتباه الذاتي على رقع الزمكان، وجعل TimeSformer ذلك ميسور الكلفة عبر تنفيذ الانتباه على الزمن والمكان في خطوتين منفصلتين. وينتج التدريب المسبق ذاتي الإشراف على فيديو غير موسوم مُرمّزات قوية متعددة الأغراض: فقد تعلّم V-JEPA 2 من أكثر من مليون ساعة من فيديو الإنترنت عبر التنبؤ بتمثيلات المناطق المحجوبة، وحقق دقة top-1 بلغت 77.3% على Something-Something v2، وهو معيار لأفعال اليد والجسم التي يختلف معظمها في حركتها. وتختار نماذج اللغة للفيديو إطارات، وترمّز كل إطار إلى رموز بصرية، ثم تمررها إلى نموذج لغوي كبير (LLM) يجيب عن الأسئلة نصيًا.

يحدد المخرج الذي يحتاج إليه النظام إلى حد كبير عائلة النماذج المستخدمة:

الأحداث المستخلصة من مسارات الأجسام#

تفهم أنظمة عملية كثيرة الفيديو بالاستدلال على المسارات: إذ يعثر كاشف على الأجسام في كل إطار، ويربطها متتبّع في مسارات، ثم تحوّل القواعد أو النماذج هذه المسارات إلى أحداث، مثل دخول منطقة أو تجاوز خط أو التوقف مدة طويلة. ويعمل حل عدّ الأجسام في Ultralytics بهذه الطريقة باستخدام تتبّع YOLO26، إذ يحصي كل جسم متتبَّع مرة واحدة عند عبور مساره خطًا، ويسجل اتجاهه من مواضعه في الإطارات المتتالية:

import cv2
from ultralytics import solutions

# Count people (COCO class 0) crossing a horizontal line through the middle of the 640x360 frame
counter = solutions.ObjectCounter(model="yolo26n.pt", region=[(0, 180), (640, 180)], classes=[0])

cap = cv2.VideoCapture("https://github.com/ultralytics/assets/releases/download/v0.0.0/solutions_ci_demo.mp4")
while True:
    success, frame = cap.read()
    if not success:
        break
    results = counter(frame)

# A crossing and its direction come from each person's track, so they exist only across frames
print(f"Crossed moving down: {results.in_count}, moving up: {results.out_count}")

يصف العدّان حدثين لا يظهر أي منهما في إطار واحد، إذ يتطلب التمييز بين شخص يمشي نزولًا وآخر يمشي صعودًا موضعين على الأقل للشخص نفسه بعد تتبعه.

فهم الفيديو والمصطلحات ذات الصلة#

• المعالجة الآلية للصور: تصنّف المحتوى في الصور المفردة أو تكشفه. ويؤدي تشغيلها على كل إطار من الفيديو إلى نتائج لكل إطار، من دون إدراك للهوية أو الحركة أو الترتيب.
• تتبّع الأجسام المتعددة (MOT): إحدى لبنات بناء فهم الفيديو، وتحافظ على الهويات عبر الإطارات من دون تفسير ما تفعله الأجسام.
• توليد الفيديو: ينشئ فيديو جديدًا من نصوص أو صور، أي في الاتجاه العكسي، رغم اعتماد المجالين على نماذج لكيفية تغير المشاهد بمرور الوقت.
• الذكاء الاصطناعي متعدد الوسائط: يجمع الفيديو بالصوت أو الترجمة النصية أو بيانات أخرى، ما يفيد عندما يحمل المسار الصوتي أو الكلام المعلومة الأساسية.

التطبيقات#

• تحليلات الرياضة: تتبّع اللاعبين والكرة لقياس السرعة والاستحواذ والتشكيلات، واستخراج أبرز اللقطات من تسجيلات المباريات كاملةً.
• المرور والمدن الذكية: عدّ المركبات والمشاة وقياس السرعات وكشف القيادة بعكس الاتجاه أو المركبات المتوقفة.
• مراقبة متاجر التجزئة والسلامة: قياس أطوال الطوابير ورصد حالات السقوط في دور الرعاية وكشف دخول الأشخاص إلى مناطق محظورة.
• الإعلام وإدارة المحتوى: فهرسة مكتبات الفيديو الكبيرة لتسهيل البحث، ورصد التحميلات المخالفة للسياسات.
• الروبوتات والمركبات ذاتية القيادة: التنبؤ بالاتجاه الذي سيسلكه المشاة والمركبات الأخرى.

التحديات#

يضاعف الفيديو كلفة كل صورة: فالدقيقة الواحدة بمعدل 30 إطارًا في الثانية تحتوي على 1,800 إطار، لذا تأخذ النماذج عينات متباعدة، غالبًا من 8 إلى 64 إطارًا لكل مقطع، مع استمرار خطر تفويت الأحداث العابرة. وتجهد مقاطع الفيديو الطويلة الذاكرة وطول السياق، كما يستغرق وسم الأفعال بأوقات بدء وانتهاء دقيقةً وقتًا أطول بكثير من وسم الصور. وتختار واجهة Gemini API من Google إطارات الفيديو بمعدل إطار واحد في الثانية، وتستخدم نحو 100 رمز لكل ثانية من الفيديو عند دقة الوسائط المنخفضة الافتراضية، لذا تستطيع نماذجها ذات نافذة السياق البالغة مليون رمز معالجة ما يصل إلى ثلاث ساعات من الفيديو، أو ساعة واحدة بدقة عالية.