Meta Movie Gen: إعادة تصور إنشاء المحتوى
شاهد كيف تعيد Meta Movie Gen تعريف إنشاء الفيديو والصوت. تعرف على كيفية توفير هذا النموذج لتحرير فيديو دقيق ودعم إنشاء الوسائط المخصصة.
سواء كنت صانع أفلام طموحاً أو منشئ محتوى يستمتع بصنع مقاطع فيديو لجمهوره، فإن الحصول على أدوات ذكاء اصطناعي توسع نطاق إبداعك يعد أمراً مفيداً دائماً. أطلقت Meta مؤخراً أحدث نماذجها لتوليد الفيديو، والمعروف باسم Meta Movie Gen.
من المتوقع أن يصل سوق الذكاء الاصطناعي التوليدي العالمي في قطاع الإعلام والترفيه إلى 11.57 مليار دولار بحلول عام 2033، مع قيادة شركات مثل Runway، وOpenAI، وMeta الطريق في ابتكارات رائدة. يُعد Meta Movie Gen، على وجه الخصوص، رائعاً لتطبيقات مثل صناعة الأفلام، وإنشاء محتوى الفيديو، ورواية القصص الرقمية، مما يسهل أكثر من أي وقت مضى تحويل الرؤى الإبداعية إلى واقع من خلال مقاطع فيديو عالية الجودة تم إنشاؤها بواسطة الذكاء الاصطناعي. في هذا المقال، سنستكشف Meta Movie Gen وكيف يعمل. كما سنلقي نظرة فاحصة على بعض تطبيقاته. لنبدأ!
الشكل 1. إطار لمقطع فيديو تم إنشاؤه باستخدام Meta Movie Gen.
Link to this sectionما هو Meta Movie Gen؟#
قبل أن نناقش ماهية Meta Movie Gen، دعونا نلقي نظرة على كيفية ظهوره.
بدأت جهود أبحاث Meta المتعلقة بـ الذكاء الاصطناعي التوليدي من خلال سلسلة نماذج Make-A-Scene. يركز هذا البحث على طريقة متعددة الوسائط للذكاء الاصطناعي التوليدي تساعد الفنانين وأصحاب الرؤى على تحويل خيالهم إلى واقع. يمكن للفنانين إدخال صور أو صوت أو مقاطع فيديو أو رسوم متحركة ثلاثية الأبعاد للحصول على مخرجات الصور التي يرغبون فيها. جاءت القفزة التالية في الابتكار مع نماذج الانتشار مثل نماذج Llama Image Foundation (Emu)، والتي جعلت من الممكن إنشاء صور ومقاطع فيديو بجودة أعلى بكثير ومكنت من تحرير الصور.
الشكل 2. مثال على استخدام رسم ومدخلات نص Make-A-Scene للحصول على صورة تم إنشاؤها.
يُعد Movie Gen أحدث مساهمة من Meta في أبحاث الذكاء الاصطناعي التوليدي. فهو يجمع بين جميع الوسائط المذكورة سابقاً ويسمح بمزيد من التحكم الدقيق حتى يتمكن الأشخاص من استخدام النماذج بطرق أكثر إبداعاً. Meta Movie Gen عبارة عن مجموعة من النماذج الأساسية لتوليد أنواع مختلفة من الوسائط، بما في ذلك تحويل النص إلى فيديو، وتحويل النص إلى صوت، وتحويل النص إلى صورة. تتكون هذه المجموعة من أربعة نماذج، تم تدريبها على مزيج من مجموعات البيانات المرخصة والمتاحة للجمهور.
إليك نظرة عامة سريعة على هذه النماذج:
- نموذج Movie Gen Video: نموذج يحتوي على 30 مليار معلمة (parameter) يقوم بإنشاء مقاطع فيديو عالية الجودة من نصوص وصفية.
- نموذج Movie Gen Audio: نموذج يحتوي على 13 مليار معلمة يمكنه إنشاء مسارات صوتية تتزامن مع محتوى الفيديو.
- نموذج Personalized Movie Gen Video: يقوم بإنشاء مقاطع فيديو لأفراد محددين بناءً على نص وصفي وصورة واحدة، مع الحفاظ على ملامحهم.
- نموذج Movie Gen Edit: يسمح هذا النموذج بإجراء تعديلات دقيقة على الفيديو تعتمد على النص، سواء لمقاطع الفيديو الحقيقية أو الخيالية.
Link to this sectionتدريب نموذج Meta Movie Gen للفيديو#
تضمنت عدة عمليات رئيسية إنشاء وتدريب نموذج Movie Gen Video. تضمنت الخطوة الأولى جمع وتجهيز البيانات المرئية، بما في ذلك الصور ومقاطع الفيديو، التي تركز أساساً على الأنشطة البشرية التي تمت تصفيتها من حيث الجودة والحركة والأهمية. تم بعد ذلك إقران البيانات بتعليقات نصية تشرح ما يحدث داخل كل مشهد. قدمت التعليقات، التي تم إنشاؤها باستخدام نموذج Meta’s LLaMa3-Video، تفاصيل غنية حول محتوى كل مشهد، مما عزز قدرات النموذج في سرد القصص المرئية.
الشكل 3. نظرة عامة على خط أنابيب تنظيم بيانات ما قبل التدريب لنموذج Movie Gen Video.
بدأت عملية التدريب بتعلم النموذج كيفية تحويل النص إلى صور منخفضة الدقة. ثم انتقلت العملية إلى إنشاء مقاطع فيديو كاملة من خلال مزيج من التدريب على تحويل النص إلى صورة وتحويل النص إلى فيديو، باستخدام صور ذات جودة عالية بشكل متزايد.
قامت أداة تسمى Temporal Autoencoder (TAE) بضغط مقاطع الفيديو لإدارة كميات كبيرة من البيانات بكفاءة. أدى الضبط الدقيق (Fine-tuning) إلى تحسين جودة الفيديو بشكل أكبر، وضمان طريقة تسمى متوسط النموذج (التي تجمع بين مخرجات نماذج متعددة للحصول على نتائج أكثر سلاسة واتساقاً) اتساقاً أكبر في المخرجات. أخيراً، تم رفع دقة الفيديو، الذي كان في البداية بدقة 768p، إلى دقة 1080p حادة باستخدام تقنية رفع الدقة المكانية، والتي تزيد من دقة الصورة عن طريق إضافة بيانات البكسل للحصول على مرئيات أكثر وضوحاً. كانت النتيجة مخرجات فيديو عالية الجودة ومفصلة.
Link to this sectionاستكشاف قدرات Meta Movie Gen#
تدعم نماذج Meta Movie Gen بشكل أساسي أربع قدرات مختلفة. دعونا نلقي نظرة فاحصة على كل منها.
Link to this sectionتوليد الفيديو والصوت#
يمكن لـ Meta Movie Gen إنشاء مقاطع فيديو عالية الجودة. يمكن أن يصل طول مقاطع الفيديو هذه إلى 16 ثانية وتعمل بمعدل 16 إطاراً في الثانية، مما يخلق مرئيات واقعية تلتقط الحركة والتفاعلات وزوايا الكاميرا بناءً على نصوص وصفية. عند إقرانه بنموذج الصوت الذي يحتوي على 13 مليار معلمة، يمكنه إنتاج صوت متزامن، بما في ذلك الأصوات المحيطة وتأثيرات Foley والموسيقى، لتتناسب مع المرئيات.
يضمن هذا الإعداد تجربة سلسة وواقعية، حيث تظل المرئيات والصوت متوافقة وواقعية عبر مشاهد ونصوص وصفية متنوعة. على سبيل المثال، تم استخدام هذه النماذج لإنشاء مقاطع فيديو لفرس النهر القزم المنتشر في تايلاند، والذي يدعى Moo Deng.
الشكل 4. إطار لمقطع فيديو لـ Moo Deng تم إنشاؤه باستخدام Movie Gen من Meta.
Link to this sectionتوليد الفيديو المخصص#
قدرة أخرى مثيرة للاهتمام لنموذج Meta Movie Gen هي توليد الفيديو المخصص. يمكن للمستخدمين تقديم صورة لشخص ما ونص وصفي يصف كيفية إنشاء مقطع الفيديو، مما ينتج عنه مقطع فيديو يتضمن الشخص المرجعي ويدمج التفاصيل المرئية الغنية المحددة في النص الوصفي. يستخدم النموذج كلا المدخلين (الصورة والنص) للحفاظ على المظهر الفريد للشخص وحركات جسمه الطبيعية، مع اتباع المشهد الموصوف في النص بدقة.
الشكل 5. مثال على قدرة النموذج على توليد الفيديو المخصص.
Link to this sectionتحرير الفيديو بدقة#
باستخدام نموذج Movie Gen Edit، يمكن للمستخدمين تقديم مقطع فيديو ونص وصفي كمدخلات لتحرير الفيديو بطرق إبداعية. يجمع النموذج بين توليد الفيديو وتحرير الصور المتقدم لإجراء تعديلات محددة للغاية، مثل إضافة أو إزالة أو استبدال العناصر. يمكنه أيضاً إجراء تغييرات شاملة مثل تعديل خلفية مقطع الفيديو أو النمط العام. ولكن ما يجعل النموذج فريداً حقاً هو دقته: فهو يمكنه استهداف البكسلات المحددة فقط التي تتطلب تحريراً وترك الباقي دون تغيير. وهذا يحافظ على المحتوى الأصلي قدر الإمكان.
الشكل 6. أمثلة متنوعة على قدرات تحرير الفيديو لنموذج Movie Gen Edit.
Link to this sectionأدوات قياس الأداء لـ Meta Movie Gen#
إلى جانب نماذج الذكاء الاصطناعي التوليدي، قدمت Meta أيضاً Movie Gen Bench، وهي مجموعة من أدوات قياس الأداء لاختبار أداء نماذج الذكاء الاصطناعي التوليدي. تأتي مع أداتين رئيسيتين: Movie Gen Video Bench وMovie Gen Audio Bench. كلاهما مصمم لاختبار جوانب مختلفة من توليد الفيديو والصوت.
إليك لمحة عن كلتا الأداتين:
- Movie Gen Video Bench: يتكون من 1003 نصاً وصفياً تغطي مجموعة واسعة من فئات الاختبار مثل الأنشطة البشرية، والحيوانات، والمناظر الطبيعية، والفيزياء، بالإضافة إلى مواضيع وأنشطة غير عادية. ما يجعل مقياس التقييم هذا قيماً بشكل خاص هو تغطيته لمستويات الحركة، مما يضمن اختبار نموذج توليد الفيديو لكل من التسلسلات السريعة والبطيئة.
- Movie Gen Audio Bench: مصمم لاختبار قدرات توليد الصوت عبر 527 نصاً وصفياً. يتم إقران هذه النصوص بمقاطع فيديو تم إنشاؤها لتقييم مدى قدرة النموذج على مزامنة المؤثرات الصوتية والموسيقى مع المحتوى المرئي.
الشكل 7. يوضح الرسم البياني تحليلاً لنصوص التقييم، مع قائمة بالمفاهيم على اليسار وسحابة كلمات للأسماء والأفعال المستخدمة بكثرة على اليمين.
Link to this sectionتطبيق عملي لـ Meta Movie Gen#
الآن بعد أن غطينا ماهية نماذج Meta Movie Gen وكيفية عملها، دعونا نستكشف أحد تطبيقاتها العملية.
Link to this sectionابتكارات Movie Gen للذكاء الاصطناعي في صناعة الأفلام#
أحد أكثر استخدامات Movie Gen من Meta إثارة هو كيفية قدرته على تحويل صناعة الأفلام من خلال الفيديو الذي يعمل بالذكاء الاصطناعي وإنشاء الصوت. مع Movie Gen، يمكن للمبدعين إنشاء مرئيات وأصوات عالية الجودة من نصوص وصفية بسيطة، مما يفتح طرقاً جديدة لسرد القصص.
في الواقع، تعاونت Meta مع Blumhouse ومجموعة من صناع الأفلام، لجمع تعليقاتهم حول كيف يمكن لـ Movie Gen دعم العملية الإبداعية على أفضل وجه. قام صناع أفلام مثل Aneesh Chaganty وSpurlock Sisters وCasey Affleck باختبار قدرة الأداة على التقاط المزاج والنبرة والتوجيه المرئي. اكتشفوا أن النماذج ساعدت في إثارة أفكار جديدة.
أظهر هذا البرنامج التجريبي أنه على الرغم من أن Movie Gen لا يحل محل صناعة الأفلام التقليدية، إلا أنه يقدم للمخرجين طريقة جديدة لتجربة العناصر المرئية والصوتية بسرعة وإبداع. كما قدر صناع الأفلام كيف سمحت لهم ميزات التحرير في الأداة باللعب بالأصوات الخلفية والتأثيرات والأنماط المرئية بحرية أكبر.
الشكل 8. إطار لفيلم قصير تم إنشاؤه باستخدام Meta Movie Gen.
Link to this sectionأبرز النقاط#
يعد Meta Movie Gen خطوة إلى الأمام في استخدام الذكاء الاصطناعي التوليدي لإنشاء مقاطع فيديو وأصوات عالية الجودة من أوصاف نصية بسيطة. تساعد الأداة المستخدمين على إنشاء مقاطع فيديو واقعية ومخصصة بسهولة. مع قدرات مثل تحرير الفيديو الدقيق وتوليد الوسائط المخصصة، يقدم Meta Movie Gen مجموعة أدوات مرنة تفتح احتمالات جديدة لسرد القصص وصناعة الأفلام وما بعدها. من خلال تسهيل إنشاء مرئيات مفصلة ومفيدة، يعمل Meta Movie Gen على تحويل كيفية صنع مقاطع الفيديو واستخدامها عبر مجالات مختلفة ووضع معيار جديد لإنشاء المحتوى المدعوم بالذكاء الاصطناعي.
لمعرفة المزيد، قم بزيارة مستودع GitHub الخاص بنا، وتفاعل مع مجتمعنا. استكشف تطبيقات الذكاء الاصطناعي في السيارات ذاتية القيادة والزراعة على صفحات الحلول الخاصة بنا. 🚀
