Text-to-Speech

Text-to-Speech (TTS), auch Sprachsynthese genannt, wandelt geschriebenen Text in gesprochene Audiodaten um. Ein TTS-System bestimmt die Aussprache jedes Wortes, die Dauer jedes Lauts und den Verlauf von Tonhöhe und Betonung im Satz und erzeugt anschließend eine Wellenform. Ältere Systeme fügten entweder aufgezeichnete Sprachfragmente zusammen oder erzeugten Audiodaten anhand statistischer Modelle und klangen hörbar künstlich. Deep Learning veränderte das: DeepMinds WaveNet erzeugte 2016 rohe Audiodaten, ein Sample nach dem anderen. 2017 erreichte Tacotron 2 von Google einen mittleren Meinungswert von 4.53 von 5, verglichen mit 4.58 für professionelle Aufnahmen. Moderne Systeme sprechen viele Sprachen mit vielen Stimmen, können eine Stimme anhand weniger Sekunden Audio nachbilden und Anweisungen zum Tonfall befolgen. Sie kommen in Bildschirmleseprogrammen, Sprachassistenten, Hörbüchern und dialogbasierter KI zum Einsatz. TTS ist das Gegenstück zu Sprache-zu-Text.

So funktioniert Text-to-Speech#

Jedes System beginnt mit einer Textvorverarbeitung. Bei der Textnormalisierung werden Zahlen, Datumsangaben, Währungen und Abkürzungen ausgeschrieben, sodass aus „Dr. Lee paid $3.50“ etwa „Doctor Lee paid three dollars and fifty cents“ wird. Die Graphem-Phonem-Umwandlung bestimmt die Aussprache, auch bei Wörtern wie „read“, deren Klang von der Zeitform abhängt. Viele Modelle sagen außerdem die Prosodie voraus, also Dauer, Tonhöhe und Energie jedes Lauts. Anschließend erzeugen zwei Hauptarchitekturen die Audiodaten:

• Akustisches Modell plus Vocoder: Ein akustisches Modell sagt ein Mel-Spektrogramm voraus, eine kompakte Darstellung der Energieverteilung über Frequenzen und Zeit. Ein neuronaler Vocoder wandelt es in eine Wellenform um. Tacotron 2 sagte Spektrogramme autoregressiv voraus, Bild für Bild. FastSpeech sagt sie parallel anhand der Dauer einzelner Phoneme voraus und erzeugt Mel-Spektrogramme 270-mal schneller als ein autoregressiver Transformer. Der HiFi-GAN-Vocoder synthetisiert 22.05-kHz-Audio auf einer einzelnen V100-GPU 167.9-mal schneller als in Echtzeit. Auch Voicebox und F5-TTS sagen Mel-Spektrogramme nicht autoregressiv mithilfe von Flow Matching voraus und übergeben sie an einen Vocoder.
• Sprachmodelle mit Audiotokens: Microsofts VALL-E behandelt Sprache als diskrete Tokens aus einem neuronalen Audiocodec und erzeugt sie mit einem Transformer-Sprachmodell – ähnlich wie ein LLM Text erzeugt. Erhält es eine dreisekündige Aufnahme einer unbekannten Sprecherin oder eines unbekannten Sprechers als Prompt, setzt es die Aufnahme mit dieser Stimme fort.

End-to-End-Modelle wie VITS vereinen das akustische Modell und den Vocoder in einem einzigen Netzwerk, das in einer einzigen Phase trainiert wird, und multimodale Modelle wie GPT-4o erzeugen Sprache direkt als Teil ihrer Antwort, ohne einen separaten TTS-Schritt.

Text-to-Speech und verwandte Begriffe#

• Sprache-zu-Text: Die umgekehrte Richtung: Gesprochene Audiodaten werden in Text transkribiert. Sprachassistenten verknüpfen beide Schritte: Sprache-zu-Text transkribiert die Eingabe, ein großes Sprachmodell verfasst die Antwort und TTS spricht sie aus.
• Stimmenklonen: TTS, das anhand eines kurzen Referenzausschnitts oder durch Feinabstimmung mit Aufnahmen einer bestimmten Person deren Stimme erzeugt. Ohne Einwilligung eingesetzt, entstehen dabei akustische Deepfakes.
• Stimmenumwandlung: Nimmt aufgezeichnete Sprache als Eingabe und verändert die Identität der sprechenden Person, während Wortlaut und Sprechweise erhalten bleiben. TTS beginnt dagegen mit Text.

Anwendungen in der Praxis#

• Barrierefreiheit: Bildschirmleseprogramme lesen Bedienelemente und Dokumente für blinde und sehbehinderte Menschen laut vor. Menschen, die ihre Stimme verloren haben, tippen Nachrichten, die eine synthetisierte Stimme für sie ausspricht.
• Sprachassistenten und Agenten: Kundenservice-Agenten, Assistenten im Auto und intelligente Lautsprecher sprechen erzeugte Antworten aus. Oft streamen sie den ersten Satzteil als Audio, während der Rest der Antwort noch formuliert wird.
• Hörbücher, Synchronisation und E-Learning: Verlage und Kursanbieter lassen lange Texte mit gleichbleibenden Stimmen und in vielen Sprachen vorlesen.
• Navigation: Schrittweise Wegbeschreibungen sorgen dafür, dass Fahrer den Blick auf die Straße richten können.

In Kombination mit Computer Vision beschreibt TTS die physische Welt hörbar, etwa auf Hilfsgeräten, die blinden Menschen mitteilen, was sich vor ihnen befindet. Dieser Code führt Objekterkennung mit Ultralytics YOLO26 auf einem Straßenfoto aus und spricht das Ergebnis mit gTTS aus, einer Python-Bibliothek für den Text-to-Speech-Dienst von Google Translate:

from collections import Counter

from gtts import gTTS
from ultralytics import YOLO

# Detect objects in a street photo with YOLO26
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Count detections per class and turn them into a sentence
counts = Counter(result.names[int(c)] for c in result.boxes.cls)
sentence = "I can see " + ", ".join(f"{n} {name}" for name, n in counts.items())

# Synthesize the sentence and save it as an MP3 file
gTTS(text=sentence, lang="en").save("detections.mp3")

Die gespeicherte Datei detections.mp3 spricht einen Satz, der jede erkannte Klasse samt Anzahl auflistet. gTTS sendet den Text an die Server von Google, daher benötigt das Skript eine Internetverbindung.

Sprachqualität messen#

• Mittlerer Meinungswert (MOS): Zuhörende bewerten die Natürlichkeit auf einer Skala von 1 bis 5; Aufnahmen echter Sprecherinnen und Sprecher setzen den Höchstwert.
• Verständlichkeit: Ein Spracherkennungsmodell transkribiert das synthetisierte Audio. Die Wortfehlerrate im Vergleich zum Eingabetext zeigt, wie oft Wörter falsch ausgegeben, ausgelassen oder wiederholt werden. Bei Zero-Shot-TTS erreichte Voicebox eine Wortfehlerrate von 1,9 %, verglichen mit 5,9 % bei VALL-E.
• Sprecherähnlichkeit: Bei geklonten Stimmen misst die Kosinusähnlichkeit zwischen den Einbettungen der generierten Audiodaten und der Referenzaufnahme, wie genau die Stimme übereinstimmt.
• Echtzeitfaktor (RTF): Synthesedauer geteilt durch Audiodauer. F5-TTS gibt einen RTF von 0.15 an und erzeugt zehn Sekunden Sprache in 1.5 Sekunden.