Text-to-Speech

Metinden konuşmaya (TTS) ya da konuşma sentezi, yazılı metni konuşma sesine dönüştürür. Bir TTS sistemi her kelimenin nasıl telaffuz edileceğine, her sesin ne kadar süreceğine ve perde ile vurgunun cümle boyunca nasıl değişeceğine karar verir, ardından bir dalga biçimi üretir. Eski sistemler ya kaydedilmiş konuşma parçalarını birleştiriyor ya da istatistiksel modellerden ses üretiyor ve kulağa belirgin biçimde yapay geliyordu. Derin öğrenme bunu değiştirdi: DeepMind'ın WaveNet modeli 2016'da ham sesi her seferinde bir örnek üreterek oluşturdu; 2017'de Google'ın Tacotron 2 modeli, profesyonel kayıtların 4.58 puanına karşılık 5 üzerinden 4.53 ortalama görüş puanına ulaştı. Güncel sistemler birçok dili ve sesi konuşabilir, birkaç saniyelik sesten bir sesi klonlayabilir ve tonla ilgili talimatları izleyebilir; ekran okuyuculara, sesli asistanlara, sesli kitaplara ve konuşmaya dayalı yapay zekâya güç verir. TTS, konuşmadan metne dönüşümün tersidir.

Metinden Sese Nasıl Çalışır?#

Her sistem bir metin ön ucuyla başlar. Metin normalleştirme, sayıları, tarihleri, para birimlerini ve kısaltmaları sözcüklere dönüştürür; böylece "Dr. Lee paid $3.50" ifadesi "Doctor Lee paid three dollars and fifty cents" olur. Harf birimlerinden ses birimlerine dönüşüm, sesi zaman kipine bağlı olarak değişen "read" gibi sözcükler de dâhil olmak üzere telaffuzları belirler. Birçok model ayrıca her sesin süresini, perdesini ve enerjisini içeren prozodiyi tahmin eder. Ses üretmek için ardından iki temel yaklaşım kullanılır:

• Akustik model ve vokoder: Bir akustik model, enerjinin zaman içinde frekanslara nasıl dağıldığını gösteren kompakt bir görsel olan mel spektrogramını tahmin eder; sinirsel bir vokoder ise bunu dalga biçimine dönüştürür. Tacotron 2, spektrogramları her seferinde bir çerçeve olacak şekilde otoregresif olarak tahmin etti. FastSpeech, fonem başına sürelerden yola çıkarak spektrogramları paralel biçimde tahmin eder ve mel spektrogramlarını otoregresif bir Transformer'dan 270 kat hızlı üretir. HiFi-GAN vokoderi, tek bir V100 GPU'da gerçek zamanın 167.9 katı hızda 22.05 kHz ses sentezler. Voicebox ve F5-TTS de akış eşleme kullanarak mel spektrogramlarını otoregresif olmayan biçimde tahmin eder ve bunları bir vokodere iletir.
• Ses belirteci dil modelleri: Microsoft'un VALL-E modeli, konuşmayı sinirsel bir ses kodeğinden gelen ayrık belirteçler olarak ele alır ve tıpkı bir LLM'nin metin üretmesi gibi, bir Transformer dil modeliyle bu belirteçleri üretir. Daha önce görmediği bir konuşmacının 3 saniyelik kaydıyla yönlendirildiğinde, o sesle devam eder.

VITS gibi uçtan uca modeller, akustik modeli ve vokoderi tek aşamada eğitilen bir ağda birleştirir; çok modlu modeller arasındaki GPT-4o gibi modeller ise ayrı bir TTS adımı olmadan, yanıtlarının bir parçası olarak doğrudan konuşma üretir.

Metinden Konuşmaya ve İlişkili Terimler#

• Konuşmadan metne: Ters yöndeki işlemdir; konuşma sesini metne dönüştürür. Sesli asistanlar bu iki işlemi art arda kullanır: konuşmadan metne dönüşüm kullanıcının söylediklerini yazıya aktarır, bir büyük dil modeli yanıtı yazar ve TTS bunu seslendirir.
• Ses klonlama: Kısa bir referans kaydından ya da konuşmacının kayıtlarıyla ince ayar yaparak belirli bir kişinin sesini hedefleyen TTS'dir. İzin alınmadan kullanıldığında sesli deepfake'ler üretir.
• Ses dönüştürme: Kaydedilmiş konuşmayı girdi olarak alır, sözcükleri ve konuşma biçimini korurken konuşmacının kimliğini değiştirir. TTS ise metinle başlar.

Gerçek Dünya Uygulamaları#

• Erişilebilirlik: Ekran okuyucular, görme engelli veya az gören kullanıcılar için arayüz öğelerini ve belgeleri sesli okur; sesini kaybeden kişiler ise sentezlenmiş bir sesin okuyacağı mesajları yazar.
• Sesli asistanlar ve ajanlar: Müşteri hizmetleri ajanları, araç içi asistanlar ve akıllı hoparlörler oluşturulan yanıtları seslendirir; çoğu zaman yanıtın geri kalanı hâlâ yazılırken ilk ifade için ses akışı başlatırlar.
• Sesli kitaplar, dublaj ve e-öğrenme: Yayıncılar ve kurs oluşturucular uzun metinleri tutarlı seslerle ve birçok dilde seslendirir.
• Navigasyon: Dönüşleri adım adım bildiren yol tarifleri, sürücülerin gözlerini yolda tutar.

Bilgisayarlı görü ile birlikte kullanılan TTS, örneğin görme engelli bir kullanıcıya önündekileri anlatan yardımcı aygıtlarda fiziksel dünyayı sesli olarak tarif eder. Bu kod, bir sokak fotoğrafında Ultralytics YOLO26 ile nesne algılama yapar ve sonucu Google Translate'in metinden konuşmaya hizmeti için bir Python kitaplığı olan gTTS ile seslendirir:

from collections import Counter

from gtts import gTTS
from ultralytics import YOLO

# Detect objects in a street photo with YOLO26
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Count detections per class and turn them into a sentence
counts = Counter(result.names[int(c)] for c in result.boxes.cls)
sentence = "I can see " + ", ".join(f"{n} {name}" for name, n in counts.items())

# Synthesize the sentence and save it as an MP3 file
gTTS(text=sentence, lang="en").save("detections.mp3")

Kaydedilen detections.mp3, algılanan her sınıfı ve sınıf başına sayıyı listeleyen bir cümleyi seslendirir. gTTS metni Google'ın sunucularına gönderdiğinden, betiğin internet bağlantısına ihtiyacı vardır.

Konuşma Kalitesini Ölçme#

• Ortalama görüş puanı (MOS): Dinleyiciler doğallığı 1 ile 5 arasında puanlar; gerçek konuşmacı kayıtları ulaşılabilecek en yüksek puanı belirler.
• Anlaşılabilirlik: Bir konuşma tanıma modeli sentezlenmiş sesi yazıya döker; giriş metniyle karşılaştırılan sözcük hata oranı, sözcüklerin ne sıklıkta yanlış söylendiğini, atlandığını veya tekrarlandığını gösterir. Voicebox, sıfır örnekli TTS'de %1,9 sözcük hata oranına ulaşırken VALL-E'de bu oran %5,9 oldu.
• Konuşmacı benzerliği: Klonlanan seslerde, oluşturulan ve referans seslerin konuşmacı gömme vektörleri arasındaki kosinüs benzerliği, seslerin ne ölçüde eşleştiğini ölçer.
• Gerçek zaman faktörü (RTF): Sentez süresinin ses süresine oranıdır. F5-TTS, 10 saniyelik konuşmayı 1.5 saniyede üreterek 0.15 RTF bildirmektedir.