Speech-to-Text

Sprache-zu-Text (STT), auch automatische Spracherkennung (ASR) oder einfach Spracherkennung genannt, wandelt gesprochene Sprache in geschriebenen Text um. Ein STT-Modell wandelt eine Wellenform in eine Zeit-Frequenz-Darstellung um, ordnet sie mithilfe eines neuronalen Netzwerks Zeichen oder Teilwörtern zu und gibt ein Transkript aus, oft mit Satzzeichen, Zeitstempeln und Sprecherkennzeichnungen. Es bildet die Eingabeschicht für Sprachassistenten, Live-Untertitel, Besprechungsnotizen und Anrufanalysen. Die Transkripte dienen der Verarbeitung natürlicher Sprache (NLP) für die Suche, Zusammenfassungen und die Erkennung von Absichten. Selbstüberwachtes Vortraining mit nicht annotierten Audiodaten und schwach überwachtes Training in großem Maßstab – wie bei OpenAIs Whisper, das mit 680.000 Stunden mehrsprachiger Audiodaten aus dem Internet trainiert wurde – machten moderne Systeme über verschiedene Akzente, Hintergrundgeräusche und Dutzende von Sprachen hinweg präzise.

So funktioniert die Umwandlung von Sprache in Text#

Zunächst werden die Audiodaten neu abgetastet – bei Whisper auf 16 kHz – und in ein Log-Mel-Spektrogramm umgewandelt, also ein Raster mit der Energie pro Frequenzband im Zeitverlauf. Whisper berechnet 80 Mel-Bänder in Fenstern von 25 Millisekunden, die alle 10 Millisekunden beginnen. Das Modell large-v3 verwendet 128 Bänder. Ein akustischer Encoder aus Faltungs- und Transformer-Schichten wandelt diese Frames in Merkmale um. Der Conformer-Encoder verschränkt Faltungen, die lokale Klangmuster erfassen, mit Selbstaufmerksamkeit, die entfernte Teile einer Äußerung miteinander in Beziehung setzt. Ohne externes Sprachmodell erzielte er Wortfehlerraten von 2.1 % und 4.3 % bei den LibriSpeech-Testdatensätzen test-clean und test-other. Drei Decoderfamilien wandeln die Encoder-Merkmale in Text um:

• Connectionist Temporal Classification (CTC): Sagt für jeden Audio-Frame ein Zeichen, Wortteil oder Leerzeichen voraus und führt anschließend wiederholte Einträge zusammen und entfernt Leerzeichen. Alle Frames werden parallel dekodiert, was CTC schnell macht.
• Transduktoren: RNN-T und seine Nachfolger geben Token aus, sobald Audio-Frames eintreffen. Dadurch eignen sie sich für die laufende Spracherkennung auf Smartphones und in Live-Untertiteln.
• Aufmerksamkeitsbasierte Encoder-Decoder: Ein Textdecoder erzeugt Token nacheinander und richtet seine Aufmerksamkeit dabei auf das codierte Audio. Whisper dekodiert 30-Sekunden-Fenster auf diese Weise und verwendet spezielle Token, um auch die Sprache zu erkennen, Zeitstempel vorherzusagen oder ins Englische zu übersetzen.

Streaming-Systeme zeigen vorläufige Transkripte an, die sich mit dem Eintreffen weiterer Audiodaten ändern, und schließen einen Abschnitt ab, wenn die sprechende Person pausiert:

Nach dem Dekodieren wandelt die inverse Textnormalisierung gesprochene Formen wie „fünfundzwanzig Dollar“ in „25 $“ um. Die Sprecherdiarisierung unterteilt das Transkript danach, wer wann gesprochen hat.

Trainingsdaten und Modelle#

• Selbstüberwachtes Vortraining: Metas wav2vec 2.0 lernt Sprachrepräsentationen, indem Teile unbeschrifteter Audiodaten maskiert werden. Mit 53.000 Stunden unbeschrifteter Sprache vortrainiert und mit nur 10 Minuten transkribierter Audiodaten feinabgestimmt, erreichte das Modell Wortfehlerraten von 4.8 % und 8.2 % bei den sauberen und sonstigen Testdatensätzen von LibriSpeech.
• Schwache Überwachung in großem Maßstab: Whisper wird mit Audiodaten trainiert, die mit den unvollkommenen Transkripten aus dem Internet verknüpft sind. Die Modelle reichen von 39 Millionen Parametern bei tiny bis zu 1.55 Milliarden bei large. Das Turbo-Modell, eine optimierte Version von large-v3 mit 809 Millionen Parametern, läuft etwa achtmal schneller als large.
• Halluzinationen: Aufmerksamkeitsdecoder verhalten sich wie Sprachmodelle. Daher können Stille oder Rauschen sie dazu bringen, flüssig klingenden Text zu erfinden. Die Studie Careless Whisper ergab, dass etwa 1 % der Whisper-Transkriptionen ganze Phrasen oder Sätze enthielten, die im Audio nicht vorkamen – besonders häufig bei Sprechenden mit langen Pausen.

Spracherkennung in Text im Vergleich zu verwandten Begriffen#

• Spracherkennung und ASR: Synonyme für die Umwandlung von Sprache in Text.
• Sprechererkennung und Diarisierung: Bestimmen, wer spricht, statt was gesagt wurde. Bei der Diarisierung werden die Abschnitte einer Aufnahme nach Sprechenden gekennzeichnet, sodass sich jede Zeile eines Besprechungstranskripts einer Person zuordnen lässt.
• Verstehen natürlicher Sprache (NLU): Interpretiert die Bedeutung des Transkripts, etwa die Absicht und Entitäten in „Reserviere um sieben einen Tisch für zwei.“
• Text-to-Speech (TTS): Die umgekehrte Richtung: Sprache aus Text erzeugen. Sprachassistenten verknüpfen STT, ein großes Sprachmodell und TTS.

Anwendungen in der Praxis#

• Untertitel und Barrierefreiheit: Live-Untertitel auf Smartphones, Videoplattformen und in Besprechungssoftware machen Sprache für gehörlose und schwerhörige Menschen zugänglich und für alle durchsuchbar.
• Klinische Dokumentation: Sprachassistenten für die Dokumentation transkribieren Gespräche zwischen Ärztinnen, Ärzten und Patientinnen sowie Patienten und erstellen Entwürfe klinischer Notizen für die elektronische Patientenakte.
• Kontaktzentren: Transkribierte Anrufe dienen der Suche, der Einhaltung von Vorschriften und der Sentimentanalyse.
• Sprachsteuerung von Bildverarbeitungssystemen: Ein transkribierter Befehl wie „Finde den roten Rucksack“ wird zu einer Textaufforderung für YOLOE-26, die Version von Ultralytics YOLO26 mit offenem Vokabular. Das Modell erkennt und segmentiert Kategorien, die zur Inferenzzeit genannt werden – auch wenn diese nie zu den Trainingsklassen gehörten.

Genauigkeit messen#

Die Wortfehlerrate (WER) zählt die Ersetzungen, Löschungen und Einfügungen, die nötig sind, um das Transkript in ein Referenztranskript umzuwandeln, geteilt durch die Anzahl der Referenzwörter. Dieser Code berechnet sie anhand des Wortbearbeitungsabstands:

import numpy as np

reference = ["turn", "on", "the", "kitchen", "lights"]
hypothesis = ["turn", "of", "the", "kitchen", "light", "please"]

# Edit distance over words: d[i, j] is the cheapest way to turn the first i reference words into the first j hypothesis words
d = np.zeros((len(reference) + 1, len(hypothesis) + 1), dtype=int)
d[:, 0] = np.arange(len(reference) + 1)  # deletions
d[0, :] = np.arange(len(hypothesis) + 1)  # insertions
for i in range(1, len(reference) + 1):
    for j in range(1, len(hypothesis) + 1):
        substitution = d[i - 1, j - 1] + (reference[i - 1] != hypothesis[j - 1])
        d[i, j] = min(substitution, d[i - 1, j] + 1, d[i, j - 1] + 1)

# Word error rate: (substitutions + deletions + insertions) / words in the reference
print(f"{d[-1, -1]} errors / {len(reference)} words = WER {d[-1, -1] / len(reference):.0%}")

Die Ausgabe lautet 3 errors / 5 words = WER 60%: „of“ statt „on“ und „light“ statt „lights“ sind Ersetzungen, „please“ ist eine Einfügung. Da Einfügungen mitzählen, kann die WER über 100 % liegen. Benchmarks wie die Open ASR Leaderboard vereinheitlichen vor der Bewertung Groß- und Kleinschreibung, Zeichensetzung und Schreibvarianten, sodass „Lights.“ und „lights“ als Treffer gelten. Bei Sprachen, in denen Wörter ohne Leerzeichen geschrieben werden, etwa Chinesisch und Japanisch, wird stattdessen die Zeichenfehlerrate verwendet.