AI Dubbing

الدبلجة بالذكاء الاصطناعي هي استخدام الذكاء الاصطناعي لإنشاء كلام بديل لتسجيل صوتي أو فيديو، عادةً بلغة أخرى، مع مواءمته مع المحتوى الأصلي. وهي تجمع بين التفريغ والترجمة وتوليد الكلام، بحيث يمكن للمشاهدين الاستماع إلى الحوار بلغتهم المفضلة ومتابعة المشاهد نفسها وتناوب المتحدثين.

تُسمى غالبًا الدبلجة الآلية أو الدبلجة التلقائية، وتستخدم الذكاء الاصطناعي التوليدي لإنتاج كلام مضبوط التوقيت والأداء. ويمكن للأنظمة الحفاظ على السمات الصوتية لكل متحدث والإبقاء على الموسيقى الأصلية والمؤثرات الصوتية والصوت المحيط، كما تدعم ذلك خدمة دبلجة ElevenLabs.

آلية عمل الدبلجة بالذكاء الاصطناعي#

يبدأ سير العمل المعتاد بـتحويل الكلام إلى نص، الذي يفرّغ الحوار إلى نص مؤقت زمنيًا. ويحدد تمييز المتحدثين الأوقات التي يتحدث فيها كل شخص. وتحول الترجمة الآلية النص المفرغ إلى اللغة المستهدفة، ثم تنشئ تقنية تحويل النص إلى كلام الحوار البديل. وتُضبط التوقيتات لمواءمة كل مقطع منطوق مع المدة المخصصة له قبل مزج الأصوات الجديدة مع المسار الصوتي المحتفَظ به. وتظهر هذه المكونات مجتمعةً في خط معالجة توطين الوسائط من AWS.

يجب أن تحافظ الترجمة على المعنى مع ملاءمتها للوقت المتاح للتحدث. يصف التزامن الزمني مطابقة المدة هذه: إذ يشغل المقطع المترجم تقريبًا الفترة الزمنية نفسها التي يشغلها المقطع الأصلي. ويساعد تحديد طول الترجمة واختصار الجمل وضبط سرعة الكلام على استيفاء هذا القيد. ويجمع سير عمل التوطين لدى MagellanTV بين قواميس المصطلحات ومواءمة التعابير الاصطلاحية والمراجعة البشرية واختصار الجمل لإعداد التعليق الصوتي للأفلام الوثائقية.

تضيف الدبلجة المرئية الرؤية الحاسوبية لتعديل حركات الفم بحيث تتطابق مع الصوت البديل. وفي سير عمل يجمع الترجمة ومزامنة حركة الشفاه، تنشئ الدبلجة الصوتية المسار الصوتي، ويحدّث نموذج منفصل لمزامنة حركة الشفاه الفيديو.

للمعالجة المرئية المسبقة، يمكن لكاشف وجوه مخصص مبني باستخدام YOLO26 من Ultralytics استخدام وضع التتبع لإسناد معرّفات دائمة إلى اكتشافات الوجوه عبر الإطارات، وتنظيم تسلسلات الوجوه المتصلة لمعالجة مزامنة حركة الشفاه لاحقًا.

الدبلجة بالذكاء الاصطناعي والمفاهيم المرتبطة بها#

تصف عدة مصطلحات قريبة مكونات العملية أو مخرجاتها البديلة:

• استنساخ الصوت: ينشئ كلامًا يشبه صوت شخص معين. ويمكن للدبلجة استخدام أصوات مستنسخة أو أصوات اصطناعية مختارة.
• التعرّف على الكلام: يحول الكلمات المنطوقة إلى نص؛ ويُعدّ التعرّف الآلي على الكلام وASR وتحويل الكلام إلى نص مصطلحات مترادفة.
• تحرير الفيديو بالذكاء الاصطناعي: يشمل تغييرات آلية أوسع على الفيديو، بما فيها الدبلجة المرئية وإعادة التأطير وتحرير المشاهد.

يغيّر تحويل الصوت الهوية الصوتية لأداء موجود مع الحفاظ على كلماته وطريقة إلقائه. وتعرض الترجمة النصية نصًا مترجمًا على الشاشة. أما الدبلجة بالذكاء الاصطناعي فتنتج حوارًا منطوقًا بديلًا، ويشكّل التفريغ والتوليف الصوتي مرحلتين منفصلتين من العملية.

التطبيقات والتشغيل#

توطين الأفلام الوثائقية تطبيق عملي؛ إذ تستخدم MagellanTV سير عمل طُوّر بالتعاون مع Mission Cloud وAWS لترجمة الشروح النصية ومراجعة اللغة المواءمة وتوليف التعليق الصوتي. ويساعد دعم المصطلحات المخصص على اتساق المفردات المتخصصة، بينما تحافظ معالجة التعابير الاصطلاحية على المعنى المقصود عبر اللغات.

يستخدم توطين الفيديو التعليمي هذه المكونات أيضًا. فقد تُرجمت فيديوهات Khan Academy عبر سير عمل يجمع بين الترجمة الآلية وتوليف الكلام ومزامنة الصوت والفيديو، ما يتيح تقديم الدروس الحالية كمحتوى منطوق بلغات إضافية.

على YouTube، تتيح المسارات الصوتية المُنشأة تلقائيًا للمشاهدين التبديل بين الصوت الأصلي والمدبلج. ويختار المشاهدون اللغة الأصلية من خلال عنصر التحكم بالمسارات الصوتية في المشغّل؛ بينما يدير منشئو المحتوى إعدادات الدبلجة التلقائية والنشر في YouTube Studio. ويُظهر النظام نفسه مشكلات الجودة الشائعة: فقد تعيق الضوضاء الخلفية واللهجات التفريغ، بينما قد تؤدي أسماء الأعلام والتعابير الاصطلاحية والمصطلحات المتخصصة إلى ترجمات أو نطقات غير صحيحة.

الجودة والموافقة والمزامنة#

لجودة الدبلجة أبعاد عدة: دقة الترجمة ووضوح الكلام واتساق صوت المتحدث والأداء التعبيري والمزامنة. ويساعد التنغيم—أي إيقاع الكلام ونبره وطبقته ووقفاته—على الحفاظ على التشديد والعاطفة. فالترجمة السلسة التي تضع التشديد في غير موضعه تغيّر الطريقة التي يُفهم بها قصد المتحدث.

تشمل السلامة كلاً من خصوصية البيانات والتحكم في الهوية الصوتية. تحتوي التسجيلات والنماذج الصوتية على معلومات عن متحدثين يمكن تحديد هويتهم؛ وتُعدّ الموافقة إذنًا بإعادة إنتاج أصواتهم. كما يتيح الاستنساخ غير المصرح به إنشاء مقاطع صوتية مزيفة بتقنية التزييف العميق. في عمليات الاحتيال القائمة على انتحال الهوية باستنساخ الصوت، يستخدم المجرمون أصواتًا تبدو مألوفة لجعل طلبات الطوارئ الاحتيالية مقنعة.

في الدبلجة المرئية، تمتد المزامنة إلى ما دون مدة الجملة لتشمل أصوات الكلام الفردية. وتنسق أنظمة مزامنة حركة الشفاه أشكال الفم الظاهرة مع الصوت المُنشأ؛ إذ تتطلب الأصوات الساكنة "b" و"p" و"m" إغلاقًا ظاهرًا للشفتين.