VBench

VBench مجموعة معايير لتقييم مقاطع الفيديو المُنشأة بالذكاء الاصطناعي وفق أبعاد متعددة للجودة ومدى توافقها مع تعليمات المستخدم. فبدلًا من الاكتفاء بالسؤال عمّا إذا كان المقطع «يبدو جيدًا»، تفحص ما إذا كانت العناصر تظل متسقة، وما إذا كانت الحركة تتدفق بسلاسة، وما إذا كان الفيديو يصوّر المحتوى المطلوب. وهذا ما يجعلها مفيدة لمقارنة أنظمة إنشاء الفيديو وفهم أسباب إخفاق مقطع جذاب في مهمة عملية.

ما الذي يقيسه VBench#

يتطلب تقييم إنشاء الفيديو من النص فحص الإطارات الفردية والتغيرات بمرور الوقت. ويحدد إطار التقييم الأصلي لـ VBench 16 بُعدًا تشمل الجودة البصرية والاتساق مع المطالبة المُدخلة. وتوفر هذه الأبعاد صورة أكثر إفادة من درجة إجمالية واحدة. (vchitect.github.io)

تساعد ثلاث مجموعات مفيدة على فهم المفهوم:

• الجودة البصرية: تتعلق جودة التصوير بعيوب مثل الضبابية أو التشويش، بينما تتعلق الجودة الجمالية بالجاذبية البصرية والتكوين. فالإطار الواضح ليس بالضرورة جذابًا.
• الجودة الزمنية: يقيس اتساق العناصر والخلفية ما إذا كانت المظاهر تظل مستقرة. وتفحص سلاسة الحركة استمرارية الحركة، بينما يتعلق الوميض الزمني بالتقلبات غير المرغوب فيها بين الإطارات.
• التوافق مع المطالبة: تفحص اختبارات المحتوى العناصر والأفعال والألوان والمشاهد والعلاقات المكانية المطلوبة؛ مثل التحقق مما إذا كان كلب يركض فعلًا بجانب دراجة، بدلًا من مجرد ظهوره في مكان قريب.

يرتبط اتساق العناصر بـالحفاظ على الهوية: إذ ينبغي أن تظل الشخصية قابلة للتعرّف أثناء حركتها أو تغيّر زاوية الرؤية. وقد يشمل تقييم الحركة التدفق البصري، الذي يقدّر الحركة الظاهرية بين الإطارات. غير أن سلاسة الحركة وحدها لا تثبت أن الفعل معقول من الناحية الفيزيائية. (vchitect.github.io)

كيف يجري التقييم#

يبدأ التقييم القياسي بمجموعة محددة من المطالبات. وينشئ نموذج توليد مقاطع فيديو استجابةً لتلك المطالبات، ثم تحلل أدوات التقييم المخصصة لكل بُعد المخرجات. وتتيح ظروف الاختبار المتسقة إجراء مقارنات ذات معنى بين النماذج، بدلًا من مقارنة مقاطع مختارة بعناية. (github.com)

على خلاف مجموعة بيانات معيارية توفر أمثلة للاختبار، يوفر VBench أيضًا إجراءات التقييم. وتنتج أدوات التقييم الآلية قياسات يُراد بها تمثيل جوانب من الإدراك البشري، لكنها تظل مؤشرات تقريبية، لا ضمانات لرضا المشاهدين. (vchitect.github.io)

لإجراء مقارنات عملية، احرص على تقارب المطالبات، وأعداد العينات، والدقة، والمدة، وإعدادات التوليد. وسجّل البذور العشوائية عند توفرها، مع مراعاة القيود الموضحة في إرشادات PyTorch بشأن قابلية إعادة الإنتاج. وافحص الأبعاد الفردية: فقد تخفي درجات المظهر القوية ضعف اتباع التعليمات، كما قد تبدو المقاطع شبه الثابتة متسقة من دون تقديم الحركة المطلوبة. (github.com)

VBench والمفاهيم ذات الصلة#

يقيّم VBench المحتوى المُنشأ؛ فهو ليس نموذجًا لإنشاء الفيديو ولا نظامًا عامًا لتحليل الفيديو.

يفسّر فهم الفيديو اللقطات الموجودة، بينما ينشئ التوليد لقطات جديدة. وبالمثل، يحدد اكتشاف الأجسام الأجسام ويحدد مواقعها، لكن اكتشاف دراجة لا يثبت أن المشهد المُنشأ بأكمله يتوافق مع المطالبة.

يقيس وضع المعايير المرجعية في Ultralytics YOLO دقة المهام وسرعة الاستدلال عبر تنسيقات التصدير. وتجيب قياسات النشر هذه عن أسئلة تختلف عن تقييمات VBench للجودة البصرية والزمنية. وبالمثل، تقيّم أوامر قياس الأداء في vLLM أداء تنفيذ النماذج اللغوية، لا جودة الفيديو المُنشأ. (docs.ultralytics.com)

يلخص ترتيب نماذج تحويل النص إلى فيديو نتائج المعايير، بينما تجمع ساحة تفضيلات البشر أحكام المشاهدين. ولا ينبغي أن يحل أيٌّ منهما محل اختبار النماذج الخاص بالتطبيق.

تطبيقات عملية#

يوضح مثالان تطبيقيان أهمية هذه الفروق:

• إنتاج الإعلانات: يستطيع فريق إبداعي يقارن بين أدوات التوليد لإعلان عن حذاء جري فحص اتساق العناصر، وسلاسة الحركة، والتوافق مع المطالبة. وقد يؤدي تغير شكل الحذاء أثناء لقطة تتبّع إلى جعل مقطع متقن من جوانب أخرى غير صالح للاستخدام. وينبغي للمراجعين التحقق من العلامة التجارية وتفاصيل المنتج على نحو مستقل، بدلًا من افتراض أن الدرجة المعيارية المرتفعة تغطيها.
• لقطات تدريب اصطناعية: يستطيع فريق ينشئ مقاطع فيديو لمستودع استخدام تقييمات الجودة لفرز المقاطع بحثًا عن خلفيات غير مستقرة أو حركة غير معقولة. ومع ذلك، قد تخلو البيانات الاصطناعية المقنعة بصريًا من ظروف واقعية مهمة. ويجب التحقق من قيمتها في التدريب عبر التحقق من الصحة باستخدام بيانات ممثلة، لا استنتاجها من VBench وحده.

هذه استخدامات متكاملة لتقييم الجودة، وليست ادعاءات بأن VBench يشهد بملاءمة المحتوى للاستخدام التجاري أو بفاعلية بيانات التدريب.

التقييم العملي والقيود#

يدعم مسار العمل الموثق لحزمة VBench تقييم مقاطع الفيديو المخصصة لأبعاد مختارة. بعد تثبيت التبعيات المطلوبة في بيئة متوافقة، يطلب مثال Bash هذا مسار فيديو مُنشأ موجود ويقيّم اتساق العناصر: (pypi.org)

# Install the evaluation package.
python -m pip install vbench

# Supply an existing generated MP4 file.
read -r -p "Path to generated video: " video_path

# Evaluate one supported custom-input dimension.
vbench evaluate \
    --videos_path "$video_path" \
    --dimension subject_consistency \
    --mode custom_input

ينتج عن ذلك تقييم خاص ببُعد واحد، وليس درجة ترتيب كاملة. ولا يدعم تقييم مقاطع الفيديو المخصصة سوى مجموعة فرعية من الأبعاد الأصلية، لذا استخدم البروتوكول القياسي لإجراء مقارنات معيارية. (pypi.org)

وأخيرًا، اجمع بين القياسات الآلية والفحص البشري واختبارات التطبيق. فقد تتضمن اللقطات الجذابة والمتسقة محتوى مضللًا أو مخاطر أخرى. ويوفر إطار عمل NIST لإدارة مخاطر الذكاء الاصطناعي إرشادات أوسع لتقييم هذه المخاوف بما يتجاوز الجودة البصرية. (nist.gov)