AI Dubbing

KI-Synchronisation bezeichnet den Einsatz künstlicher Intelligenz, um Ersatzsprache für aufgezeichnete Audio- oder Videoinhalte zu erzeugen, in der Regel in einer anderen Sprache und zeitlich auf den Originalinhalt abgestimmt. Sie kombiniert Transkription, Übersetzung und Sprachgenerierung, damit Zuschauer Dialoge in ihrer bevorzugten Sprache hören und zugleich denselben Szenen und Sprecherwechseln folgen können.

Oft als automatische Synchronisation oder Auto-Synchronisation bezeichnet, nutzt sie generative KI, um Sprache mit kontrolliertem Timing und Ausdruck zu erzeugen. Systeme können die stimmlichen Merkmale einzelner Sprecher bewahren und die ursprüngliche Musik, Soundeffekte und Umgebungsgeräusche beibehalten, wie es ElevenLabs dubbing unterstützt.

So funktioniert KI-Synchronisation#

Ein typischer Arbeitsablauf beginnt mit der Spracherkennung, die Dialoge in Text mit Zeitstempeln umwandelt. Die Sprecherdiarisierung kennzeichnet, wann die einzelnen Personen sprechen. Die maschinelle Übersetzung überträgt das Transkript in die Zielsprache, und die Sprachsynthese aus Text erzeugt die Ersatzdialoge. Eine Anpassung des Timings stimmt jede Äußerung auf das dafür vorgesehene Zeitfenster ab, bevor die neuen Stimmen mit der beibehaltenen Tonspur gemischt werden. Diese Komponenten kommen gemeinsam in einer AWS-Pipeline zur Medienlokalisierung zum Einsatz.

Die Übersetzung muss die Bedeutung bewahren und zugleich in die verfügbare Sprechzeit passen. Isochronie bezeichnet diese Anpassung der Dauer: Eine übersetzte Äußerung nimmt ungefähr denselben Zeitraum ein wie das Original. Übersetzungen mit begrenzter Länge, das Kürzen von Sätzen und die Anpassung der Sprechgeschwindigkeit helfen, diese Vorgabe einzuhalten. Der Lokalisierungsablauf von MagellanTV kombiniert Terminologiewörterbücher, die Anpassung von Redewendungen, menschliche Prüfung und das Kürzen von Sätzen, um übersetzte Dokumentarfilmkommentare vorzubereiten.

Bei der visuellen Synchronisation kommt Computer Vision zum Einsatz, um Mundbewegungen so zu verändern, dass sie zur Ersatztonspur passen. In Arbeitsabläufen aus Übersetzung und Lippensynchronisation erzeugt die Audiosynchronisation die Tonspur, während ein separates Lippensynchronisationsmodell das Video aktualisiert.

Für diese visuelle Vorverarbeitung kann ein eigens entwickelter Gesichtserkenner auf Basis von Ultralytics YOLO26 den Tracking-Modus verwenden, um Gesichtserkennungen über mehrere Frames hinweg beständige IDs zuzuweisen und zusammenhängende Gesichtssequenzen für die nachgelagerte Lippensynchronisation zu organisieren.

KI-Synchronisation und verwandte Konzepte#

Mehrere verwandte Begriffe bezeichnen Komponenten oder alternative Ergebnisse:

• Stimmenklonen: Erzeugt Sprache, die einer bestimmten Person ähnelt. Bei der Synchronisation können geklonte oder ausgewählte synthetische Stimmen verwendet werden.
• Spracherkennung: Wandelt gesprochene Wörter in Text um; automatische Spracherkennung, ASR und Spracherkennung aus Audio sind Synonyme.
• KI-Videobearbeitung: Umfasst umfassendere automatisierte Änderungen an Videos, darunter visuelle Synchronisation, Neuausrichtung des Bildausschnitts und Szenenbearbeitung.

Die Stimmumwandlung ändert die stimmliche Identität einer bestehenden Darbietung, während Wörter und Ausdruck erhalten bleiben. Bei der Untertitelung wird übersetzter Text auf dem Bildschirm angezeigt. KI-Synchronisation erzeugt gesprochene Ersatzdialoge, wobei Transkription und Sprachsynthese als getrennte Prozessschritte dienen.

Anwendungen und Wiedergabe#

Dokumentarlokalisierung ist eine praktische Anwendung: MagellanTV nutzt einen gemeinsam mit Mission Cloud und AWS entwickelten Arbeitsablauf, um Untertitel zu übersetzen, angepasste Formulierungen zu prüfen und Kommentare zu synthetisieren. Die Unterstützung eigener Terminologie sorgt für einheitliche Fachbegriffe, während die Anpassung von Redewendungen die beabsichtigte Bedeutung sprachübergreifend bewahrt.

Die Lokalisierung von Lernvideos nutzt diese Komponenten ebenfalls. Videos der Khan Academy wurden mithilfe eines Arbeitsablaufs übersetzt, der maschinelle Übersetzung, Sprachsynthese und Audio-Videosynchronisierung kombiniert. So stehen bestehende Lektionen in zusätzlichen Sprachen als gesprochene Inhalte zur Verfügung.

Auf YouTube können Zuschauer dank automatisch generierter Sprachspuren zwischen dem Originalton und synchronisierten Tonspuren wechseln. Zuschauer wählen die Originalsprache über die Steuerung der Tonspur im Player aus; Creator verwalten die Einstellungen für die automatische Synchronisation und Veröffentlichung in YouTube Studio. Dasselbe System macht typische Qualitätsprobleme sichtbar: Hintergrundgeräusche und Akzente können die Transkription beeinträchtigen, während Eigennamen, Redewendungen und Fachjargon zu fehlerhaften Übersetzungen oder Aussprachen führen können.

Qualität, Einwilligung und Synchronisierung#

Die Qualität der Synchronisation umfasst mehrere Aspekte: Übersetzungsgenauigkeit, Verständlichkeit, einheitliche Sprecherstimmen, ausdrucksvolle Wiedergabe und Synchronisierung. Prosodie – Rhythmus, Betonung, Tonhöhe und Sprechpausen – trägt dazu bei, Nachdruck und Emotion zu bewahren. Eine flüssige Übersetzung mit falscher Betonung verändert, wie die Absicht eines Sprechers wahrgenommen wird.

Sicherheit betrifft sowohl den Datenschutz als auch die Kontrolle über die stimmliche Identität. Aufzeichnungen und Stimmenmodelle enthalten Informationen über identifizierbare Sprecher; eine Einwilligung schafft die Erlaubnis, ihre Stimmen nachzubilden. Unbefugtes Stimmenklonen ermöglicht außerdem Audio-Deepfakes. Bei Betrugsmaschen mit Stimmenklonen und Identitätsvortäuschung nutzen Kriminelle vertraut klingende Stimmen, um betrügerische Notfallanfragen glaubwürdig erscheinen zu lassen.

Bei der visuellen Synchronisation geht die Synchronisierung über die Satzdauer hinaus bis hin zu einzelnen Sprachlauten. Lippensynchronisationssysteme stimmen sichtbare Mundformen auf das erzeugte Audio ab; bei den Konsonanten „b“, „p“ und „m“ müssen sich die Lippen sichtbar schließen.