Text-to-Video

تحويل النص إلى فيديو هو إنشاء مقطع فيديو انطلاقًا من موجّه بلغة طبيعية، مثل «ثعلب أحمر يعدو عبر ثلج حديث التساقط عند الفجر، بلقطة تتبّع منخفضة». وهو فرع من توليد الفيديو لا يتطلب سوى النص مُدخلًا، ويمدّد تحويل النص إلى صورة بإضافة محور زمني: إذ يجب على النموذج تصوير الكائنات والأسلوب وحركة الكاميرا التي يحددها الموجّه، واختراع الحركة التي يلمّح إليها فقط، مثل حركة ساقي الثعلب أثناء العدو. ومن نماذج الأبحاث الأولى في 2022 CogVideo من جامعة تسينغهوا، وهو محوّل ذو 9.4 مليارات مُعامل، وMake-A-Video من Meta، الذي تعلّم مظهر الأشياء من أزواج النصوص والصور وكيفية حركتها من مقاطع فيديو غير موسومة، فلم يحتج إلى بيانات نصية-فيديو مقترنة. أنشأ Sora من OpenAI، الذي عُرض بنسخة أولية في فبراير 2024، مقاطع عالية الدقة تصل مدتها إلى دقيقة، ثم تبعه Meta Movie Gen في أكتوبر 2024، ووصلت عائلة Veo من Google DeepMind إلى Veo 3 في مايو 2025، الذي ينشئ، مثل Sora 2 من OpenAI، حوارًا وصوتًا متزامنين مع الصورة.

كيف يوجّه النص نموذج الفيديو#

يحوّل نموذج لغوي ثابت، مثل مُرمّز T5، الموجّه إلى تسلسل من التضمينات الرمزية. ويقرأ نموذج الفيديو، الذي يكون عادةً محوّل انتشار يعمل على فيديو كامن مضغوط، تلك التضمينات عبر الانتباه المتقاطع في كل خطوة لإزالة الضوضاء، كي تتمكن كل رقعة زمانية-مكانية في المقطع من الانتباه إلى الكلمات التي تصفها. يبدأ التوليد بضوضاء عشوائية، ثم يزيلها تدريجيًا كما في نماذج الانتشار الأخرى، إلى أن يحوّل مُفكّك الترميز الكامن النقي إلى إطارات.

يُضبط الالتزام بالموجّه باستخدام التوجيه الخالي من المصنّف، الذي قدّمه جوناثان هو وتيم سالمينز عام 2022. أثناء التدريب، يُحذف الموجّه من نسبة من الأمثلة، فيتعلّم نموذج واحد التنبؤات المشروطة وغير المشروطة معًا؛ وفي كل خطوة أخذ عينات، يحسب النموذج كليهما ويدفع النتيجة بعيدًا عن التنبؤ غير المشروط بمقدار يحدّده مقياس التوجيه. وتؤدي المقاييس الأعلى إلى اتباع الموجّه بحرفية أكبر، على حساب التنوع والألوان الطبيعية.

تكتسب النصوص التي يتعلّم منها النموذج أهميةً تضاهي أهمية بنيته. تأتي معظم مقاطع التدريب من دون وصف أو بوصف قصير ومشوّش، لذا أعادت OpenAI كتابة التعليقات التوضيحية لمقاطع تدريب Sora باستخدام نموذج مخصص لـكتابة التعليقات التوضيحية ينشئ أوصافًا مفصّلة، كما تستخدم GPT لتوسيع موجّهات المستخدم القصيرة إلى النمط التفصيلي نفسه وقت التوليد. ويسد إثراء الموجّهات الفجوة بين طريقة كتابة الناس للموجّهات والتعليقات التوضيحية التي دُرّب النموذج عليها.

الاستخدامات#

• التصوّر المسبق للأفلام: يحوّل المخرجون ومصممو الألعاب مشهدًا مكتوبًا إلى مقطع أولي لاختبار زوايا الكاميرا والإضاءة والإيقاع قبل التصوير.
• التسويق والإعلان: تنشئ العلامات التجارية لقطات للمنتجات ومقاطع لوسائل التواصل الاجتماعي بتنوعات عديدة انطلاقًا من نص واحد.
• التعليم والمواد التوضيحية: يصوّر المعلمون والناشرون عمليات يصعب تصويرها، مثل المشاهد التاريخية أو انقسام الخلايا.
• البيانات الاصطناعية: تنتج الموجّهات التي تصف أحداثًا نادرة، مثل عبور غزال طريقًا سريعًا ليلًا، لقطات تُستخدم لتدريب نماذج الإدراك بعد وسم الإطارات.

أنماط الإخفاق والتقييم#

غالبًا ما تخفق نماذج تحويل النص إلى فيديو في أجزاء الموجّه التي تتطلب ربطًا دقيقًا. إذ تنحرف الأعداد («ثلاثة كلاب» تصبح كلبين أو أربعة)، وتتبادل السمات بين الكائنات («سيارة حمراء بجوار شاحنة زرقاء»)، وتنقلب العلاقات المكانية، ويظهر النص المكتوب في المشهد مشوّهًا. ومع مرور الوقت، تتحول الكائنات إلى أشكال أخرى، أو تظهر من العدم، أو تختفي خلف أجسام حاجبة، كما تفشل التفاعلات الفيزيائية: فقد صرّحت OpenAI بأن Sora لا يحاكي تحطّم الزجاج بدقة. وتُعد هذه الأخطاء شكلًا من الهلوسة في الفيديو.

يقيّم VBench هذه الإخفاقات كلًا على حدة، بأبعاد تشمل فئة الكائنات، وتعدد الكائنات، واللون، والعلاقات المكانية، والأفعال البشرية، واتساق العناصر؛ كما تقيس مجموعة مقاييس التوزيع مسافة فريشيه-إنسبشن (FID) الواقعية العامة. ويُعد كشف الكائنات الأداة الأساسية لفحوص المحتوى: إذ يمنح تشغيل YOLO26 في وضع التتبّع على مقطع مُولّد كل كائن مكتشف معرّفًا ثابتًا؛ لذا فإن المقطع الذي وُجّه لإنشاء كلبين وينتهي بخمسة معرّفات للكلاب يشير إلى اختفاء العناصر وظهورها مجددًا أو تغيّر أشكالها في أثناء اللقطة.

لأن المقاطع المُولّدة قد تُظهر أشخاصًا حقيقيين يفعلون أمورًا لم يفعلوها، يثير تحويل النص إلى فيديو المخاوف نفسها التي تثيرها التزييفات العميقة وأخلاقيات الذكاء الاصطناعي عمومًا. ويحظر المزوّدون الموجّهات التي تسمي شخصيات عامة، ويضيفون علامات مائية مرئية وإشارات العلامات المائية للذكاء الاصطناعي، ويرفقون بيانات اعتماد المحتوى؛ وتحمل مقاطع Sora 2 من OpenAI علامة مائية متحركة مرئية وبيانات C2PA الوصفية.