Voice Cloning

استنساخ الصوت هو استخدام الذكاء الاصطناعي التوليدي لإنتاج كلام جديد بصوت شخص محدد. وباستخدام تسجيلات للمتحدث، يتعلم نظام الاستنساخ الخصائص التي تجعل صوته مميزًا، بما فيها طبقة الصوت والجرس واللهجة والإيقاع، ثم ينطق أي نص جديد أو سطر مترجم بذلك الصوت. وقد عرض سيركان أريك وزملاؤه في Baidu المنهجين اللذين لا يزالان مستخدمين في ورقتهم المنشورة عام 2018، «استنساخ الصوت العصبي باستخدام عينات قليلة»: تكييف نموذج متعدد المتحدثين مع الصوت الجديد، أو ترميز الصوت في متجه يشترط عليه النموذج. وتنتج الأنظمة الحديثة نسخة مقنعة من الصوت انطلاقًا من بضع ثوانٍ من التسجيل، ما يجعل التقنية قيّمة لإمكانية الوصول وإنتاج الوسائط، ومفيدة بالقدر نفسه للمحتالين.

كيفية إنشاء نسخة صوتية#

توسع معظم أنظمة الاستنساخ تحويل النص إلى كلام (TTS) بتمثيل لهوية المتحدث. ويضغط مُرمّز المتحدث، المدرّب على آلاف الأصوات، التسجيل المرجعي في متجه ثابت الطول يسمى تضمين المتحدث. درّب نظام SV2TTS من Google، الصادر عام 2018، المُرمّز على التحقق من هوية المتحدث، أي تقرير ما إذا كان التسجيلان يعودان إلى الشخص نفسه، ولم يحتج إلا إلى بضع ثوانٍ من تسجيل صوت متحدث لم يسبق له رؤيته. ويتلقى نموذج تحويل النص إلى كلام النص مع التضمين، ويتنبأ بتمثيل صوتي مثل مخطط طيف ميل، ثم يحوّل مولّد صوت عصبي ذلك إلى موجة صوتية.

تستنسخ الأنظمة الأصوات بطريقتين رئيسيتين:

• استنساخ دون أمثلة: يمرر مقطعًا مرجعيًا قصيرًا، غالبًا ما تتراوح مدته بين 3 و30 ثانية، إلى نموذج مدرّب على متحدثين كثيرين. ولا يعاد تدريب النموذج، لذا يتوفر الصوت الجديد فورًا، وإن كان نقل اللهجات القوية والأداء العاطفي أقل موثوقية.
• الاستنساخ بالضبط الدقيق: يكيّف أوزان النموذج باستخدام دقائق إلى ساعات من التسجيلات النظيفة لمتحدث واحد. ويتطلب بيانات وحوسبة أكثر، وينتج مطابقة أقرب وأكثر استقرارًا، ولذلك تُبنى أصوات التعليق الصوتي الاحترافية عادةً بهذه الطريقة.

تتعامل الأنظمة الأحدث مع الكلام بوصفه لغة. يضغط مرمّز صوت عصبي الصوت في رموز منفصلة باستخدام تكميم المتجهات المتبقي، ثم يولد نموذج لغوي من نوع Transformer تلك الرموز. ويواصل VALL-E من Microsoft، الصادر في يناير 2023 والمدرّب على 60 ألف ساعة من الكلام باللغة الإنجليزية، مقطعًا تمهيديًا مدته ثلاث ثوانٍ بالصوت نفسه والانفعال نفسه وخصائص الغرفة الصوتية نفسها؛ ولم تطرحه Microsoft للعامة بسبب خطر إساءة استخدامه. واتخذت OpenAI المسار نفسه مع Voice Engine، الذي استعرضته في مارس 2024 بوصفه تقنية تستنسخ صوتًا من عينة مدتها 15 ثانية. وفي جميع الأساليب، ينتقل أثر الضوضاء والقص والصدى في الغرفة من التسجيل المرجعي إلى النسخة المستنسخة.

الاستنساخ مقابل تحويل النص إلى كلام وتحويل الصوت#

ينطق تحويل النص إلى كلام (TTS) القياسي باستخدام مجموعة ثابتة من الأصوات المصممة أو المرخصة، ويضيف استنساخ الصوت إمكانية استهداف شخص بعينه. ويُعد تحويل الصوت قريبًا منه؛ إذ يستقبل كلامًا مسجلًا ويبدّل هوية المتحدث مع الإبقاء على كلمات الأداء الأصلي وتوقيته وعاطفته. أما تحويل الكلام إلى نص فيعمل بالاتجاه المعاكس، إذ يفرّغ الصوت إلى كلمات. وتجمع الدبلجة الآلية العمليات الثلاث: تفريغ الحوار الأصلي نصيًا، ثم ترجمته، ثم نطق الترجمة بصوت الممثل المستنسخ.

الصوت المستنسخ المستخدم للإيحاء بأن شخصًا قال كلامًا لم يقله هو تزييف عميق صوتي.

حفظ الصوت والدبلجة وحوار الألعاب#

• بناء بصمة صوتية باستخدام الصوت الشخصي من Apple: يسجل الأشخاص المشخّصون بالتصلب الجانبي الضموري (ALS) أو المقبلون على جراحة في الحلق مجموعة قصيرة من العبارات ما داموا قادرين على ذلك، وينشئ iPhone نسخة اصطناعية من أصواتهم على الجهاز لنطق الرسائل التي يكتبونها.
• الدبلجة والتعليق الصوتي: تستخدم الاستوديوهات وناشرو الكتب الصوتية نسخًا مستنسخة مرخصة لتوطين المحتوى بلغات أخرى بصوت المتحدث الأصلي، ولتسجيل الأسطر المصححة دون استدعاء المعلّق الصوتي إلى الاستوديو مجددًا.
• الألعاب والمساعدون الافتراضيون: ينشئ المطورون كميات كبيرة من حوارات الشخصيات بصوت متسق، مع ترخيص مؤديي الأصوات لنسخ أصواتهم بموجب عقود.

الاحتيال والموافقة والكشف#

يستنسخ المجرمون صوتًا من مقاطع منشورة على وسائل التواصل الاجتماعي، ثم يتصلون بأحد الأقارب أو الموظفين بطلب عاجل للمال، ويكمن الدفاع الموثوق ضد عمليات الاحتيال بذريعة الطوارئ هذه في إنهاء المكالمة والاتصال بالشخص مجددًا على رقم معروف. في يناير 2024، حثت مكالمات آلية بصوت مستنسخ للرئيس بايدن ناخبي نيو هامبشير على عدم المشاركة في الانتخابات التمهيدية للولاية، وفي فبراير 2024 قررت لجنة الاتصالات الفيدرالية الأمريكية أن الأصوات المُنشأة بالذكاء الاصطناعي تُعد «اصطناعية» بموجب قانون حماية مستهلكي الهاتف، ما يجعل هذه المكالمات الآلية غير قانونية من دون موافقة مسبقة. وتلزم منصات الصوت المسؤولة بالحصول على موافقة مسجلة من مالك الصوت، وتقيّد استنساخ أصوات الشخصيات العامة، وتضمّن علامات مائية للذكاء الاصطناعي غير مسموعة في الصوت المُنشأ كي يمكن التعرف إليه لاحقًا. وتضيف بيانات اعتماد المحتوى C2PA سجلًا موقّعًا يوضح كيفية إنشاء ملف وسائط وتحريره.

يجمع الكشف بين الأدلة الصوتية والبصرية. تبحث مصنفات الصوت عن آثار طيفية تخلّفها أجهزة الترميز الصوتي، وتقيس سلسلة تحديات ASVspoof، المستمرة منذ 2015، أداءها في مواجهة هجمات الاستنساخ والتحويل الجديدة. وتقارن فحوص الفيديو حركة الشفاه بالمسار الصوتي لكشف الصوت المستنسخ المدبلج على لقطات حقيقية، إذ يجب أن تتطابق لحظة انطباق الفم عند نطق أصوات «ب» و«م» و«پ» مع الصوت في اللحظة نفسها. وتبدأ هذه الفحوص بالعثور على وجه المتحدث وتتبع حركته في كل إطار، وهي مهمة ينفذها كاشف الوجوه المدرّب باستخدام Ultralytics YOLO26 في الوقت الفعلي ضمن وضع التتبع، الذي يعيّن معرّفًا دائمًا لكل وجه كي يتلقى نموذج مزامنة الشفاه تسلسلًا متصلًا من قصاصات الفم لكل متحدث.