Text-to-Speech

تحويل النص إلى كلام (TTS)، ويُعرف أيضًا بتركيب الكلام، يحوّل النص المكتوب إلى صوت منطوق. يحدد نظام TTS طريقة نطق كل كلمة، ومدة كل صوت، وكيفية تغير طبقة الصوت والتوكيد على امتداد الجملة، ثم يولّد موجة صوتية. كانت الأنظمة الأقدم إما تصل بين مقاطع كلام مسجلة أو تولّد صوتًا باستخدام نماذج إحصائية، وكان صوتها يبدو اصطناعيًا بوضوح. غيّر التعلم العميق ذلك: فقد ولّد WaveNet من DeepMind صوتًا خامًا عينةً تلو الأخرى في عام 2016، وفي عام 2017 حقق Tacotron 2 من Google متوسط درجة رأي بلغ 4.53 من 5، مقابل 4.58 للتسجيلات الاحترافية. تنتج الأنظمة الحالية كلامًا بلغات عديدة وبأصوات متنوعة، وتستنسخ صوتًا بالاستناد إلى بضع ثوانٍ من التسجيل الصوتي، وتتبع تعليمات تتعلق بالنبرة، ما يتيح تشغيل قارئات الشاشة والمساعدات الصوتية والكتب الصوتية والذكاء الاصطناعي الحواري. ويُعد TTS عكس تحويل الكلام إلى نص.

آلية عمل تحويل النص إلى كلام#

يبدأ كل نظام بواجهة أمامية للنص. توسّع تطبيع النص الأرقام والتواريخ والعملات والاختصارات إلى كلمات، بحيث تصبح "Dr. Lee paid $3.50" مثلاً "Doctor Lee paid three dollars and fifty cents"، ويختار تحويل الحروف إلى فونيمات طريقة النطق، بما في ذلك كلمات مثل "read" التي يتوقف نطقها على الزمن. وتتنبأ نماذج كثيرة أيضاً بالتنغيم، أي مدة كل صوت وطبقته وطاقته. ثم تنتج الصوت عائلتان رئيسيتان من الأساليب:

• النموذج الصوتي مع المرمّز الصوتي: يتنبأ النموذج الصوتي بمخطط طيفي ميلّي، وهو تمثيل مضغوط لتوزع الطاقة على الترددات بمرور الزمن، ثم يحوّله مرمّز صوتي عصبي إلى موجة صوتية. تنبأ Tacotron 2 بالمخططات الطيفية تسلسلياً، إطاراً تلو الآخر. ويتنبأ FastSpeech بها بالتوازي اعتماداً على مدد الفونيمات، ويولّد مخططات طيفية ميلّية أسرع بـ 270 مرة من محوّل تسلسلي. ويُركّب مرمّز HiFi-GAN صوتاً بتردد 22.05 kHz أسرع بـ 167.9 مرة من الزمن الفعلي على وحدة GPU واحدة من طراز V100. كما يتنبأ Voicebox وF5-TTS بالمخططات الطيفية الميلّية بطريقة غير تسلسلية باستخدام مطابقة التدفق، ثم يمررانها إلى مرمّز صوتي.
• نماذج اللغة ذات الرموز الصوتية: يتعامل VALL-E من Microsoft مع الكلام بوصفه رموزاً منفصلة من مرمّز صوتي عصبي، ويولّدها باستخدام نموذج لغوي قائم على المحوّلات، على غرار توليد نموذج لغوي كبير للنص. وعند تزويده بتسجيل مدته 3 ثوانٍ لمتحدث لم يسبق له رؤيته، يواصل الكلام بصوته.

تدمج النماذج الشاملة من البداية إلى النهاية، مثل VITS، النموذج الصوتي والمرمّز الصوتي في شبكة واحدة تُدرّب بمرحلة واحدة، بينما تولّد النماذج متعددة الوسائط، مثل GPT-4o، الكلام مباشرةً ضمن استجابتها، من دون خطوة TTS منفصلة.

تحويل النص إلى كلام مقارنةً بالمصطلحات ذات الصلة#

• تحويل الكلام إلى نص: الاتجاه العكسي، أي نسخ الصوت المنطوق إلى نص. تربط المساعدات الصوتية بين العمليتين: يحوّل نظام الكلام إلى نص كلام المستخدم إلى نص، ويكتب نموذج لغوي كبير الرد، ثم ينطقه نظام TTS.
• استنساخ الصوت: نظام TTS يستهدف صوت شخص معين، اعتماداً على مقطع مرجعي قصير أو ضبط دقيق على تسجيلات ذلك المتحدث. وعند استخدامه من دون موافقة، ينتج تزييفاً عميقاً صوتياً.
• تحويل الصوت: يأخذ الكلام المسجل مدخلاً، ويغيّر هوية المتحدث مع الحفاظ على الكلمات وطريقة الإلقاء. أما TTS فيبدأ من النص.

تطبيقات عملية#

• إمكانية الوصول: تنطق قارئات الشاشة عناصر الواجهة والمستندات للمستخدمين المكفوفين وضعاف البصر، كما يكتب الأشخاص الذين فقدوا أصواتهم رسائل تنطقها أصوات مركبة نيابةً عنهم.
• المساعدات الصوتية والوكلاء: ينطق وكلاء خدمة العملاء والمساعدون داخل السيارات ومكبرات الصوت الذكية ردوداً مولّدة، وغالباً ما يبثون صوت العبارة الأولى بينما لا يزال بقية الرد قيد الكتابة.
• الكتب الصوتية والدبلجة والتعلم الإلكتروني: يروي الناشرون ومعدّو الدورات نصوصاً طويلة بأصوات متسقة وبلغات متعددة.
• الملاحة: تُبقي التوجيهات خطوة بخطوة أعين السائقين على الطريق.

عند دمج TTS مع الرؤية الحاسوبية، يمكنه وصف العالم المادي بصوت مسموع، مثلاً عبر أجهزة مساعدة تخبر المستخدم الكفيف بما يوجد أمامه. يشغّل هذا الرمز كشف الأجسام باستخدام Ultralytics YOLO26 على صورة شارع، وينطق النتيجة باستخدام gTTS، وهي مكتبة Python لخدمة تحويل النص إلى كلام في Google Translate:

from collections import Counter

from gtts import gTTS
from ultralytics import YOLO

# Detect objects in a street photo with YOLO26
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Count detections per class and turn them into a sentence
counts = Counter(result.names[int(c)] for c in result.boxes.cls)
sentence = "I can see " + ", ".join(f"{n} {name}" for name, n in counts.items())

# Synthesize the sentence and save it as an MP3 file
gTTS(text=sentence, lang="en").save("detections.mp3")

ينطق الملف المحفوظ detections.mp3 جملة تسرد كل فئة مكتشفة وعدد عناصرها. يرسل gTTS النص إلى خوادم Google، لذا يحتاج البرنامج النصي إلى اتصال بالإنترنت.

قياس جودة الكلام#

• متوسط التقييم البشري (MOS): يقيّم المستمعون طبيعية الصوت من 1 إلى 5، وتحدد تسجيلات المتحدثين الحقيقيين الحد الأعلى.
• وضوح الكلام: يفرّغ نموذج التعرّف على الكلام الصوت المُركّب إلى نص، ويبيّن معدل أخطاء الكلمات مقارنةً بالنص المُدخل مدى تكرار نطق الكلمات بشكل خاطئ أو إسقاطها أو تكرارها. وحقق Voicebox معدل أخطاء كلمات قدره 1.9% في تركيب الكلام من النص (TTS) دون أمثلة، مقابل 5.9% لـVALL-E.
• تشابه المتحدث: في الأصوات المستنسخة، يقيس التشابه الجيبي بين تضمينات المتحدث للصوت المُولّد والصوت المرجعي مدى تطابق الصوتين.
• عامل الزمن الحقيقي (RTF): زمن التركيب مقسوماً على مدة الصوت. يبلغ عامل RTF الذي يورده F5-TTS مقدار 0.15، إذ يولّد 10 ثوانٍ من الكلام في 1.5 ثانية.