Voice Cloning

Stimmenklonen bezeichnet den Einsatz von generativer KI, um neue Sprache mit der Stimme einer bestimmten Person zu erzeugen. Anhand von Aufnahmen einer sprechenden Person lernt ein Klonsystem die Merkmale, an denen man diese Stimme erkennt, darunter Tonhöhe, Klangfarbe, Akzent und Rhythmus. Anschließend kann es beliebige neue Texte oder übersetzte Passagen mit dieser Stimme sprechen. In ihrer Arbeit von 2018 mit dem Titel „Neuronales Stimmenklonen mit wenigen Beispielen“ beschrieben Sercan Arık und Kollegen von Baidu die beiden weiterhin verwendeten Ansätze: ein Mehrsprechermodell an die neue Stimme anzupassen oder die Stimme in einen Vektor zu kodieren, den das Modell als Bedingung nutzt. Moderne Systeme erzeugen mit wenigen Sekunden Audio eine überzeugende Stimmkopie. Das macht die Technologie sowohl für Barrierefreiheit und Medienproduktion als auch für Betrüger attraktiv.

So entsteht ein Stimmklon#

Die meisten Klonsysteme erweitern Text-to-Speech (TTS) um eine Darstellung der Sprecheridentität. Ein Sprecher-Encoder, der mit Tausenden von Stimmen trainiert wurde, komprimiert eine Referenzaufnahme in einen Vektor fester Länge, den sogenannten Sprecher-Embedding. Googles SV2TTS-System von 2018 trainierte seinen Encoder darauf, Sprecher zu verifizieren, also festzustellen, ob zwei Aufnahmen von derselben Person stammen. Dafür genügten wenige Sekunden Audio einer zuvor unbekannten Person. Das TTS-Modell erhält den Text zusammen mit dem Embedding und sagt eine akustische Darstellung wie ein Mel-Spektrogramm voraus. Ein neuronaler Vocoder wandelt diese anschließend in eine Audio-Wellenform um.

Stimmen werden hauptsächlich auf zwei Arten geklont:

• Zero-Shot-Stimmenklonen: Ein kurzer Referenzclip, oft 3 bis 30 Sekunden lang, wird einem mit vielen Sprechern trainierten Modell zugeführt. Es ist kein erneutes Training nötig, sodass eine neue Stimme sofort verfügbar ist. Starke Akzente und emotionale Sprechweisen werden jedoch weniger zuverlässig übertragen.
• Feinabgestimmtes Stimmenklonen: Die Gewichte des Modells werden anhand von Minuten bis Stunden sauberer Aufnahmen einer einzelnen Person angepasst. Dafür sind mehr Daten und Rechenleistung nötig. Das Ergebnis klingt der Vorlage jedoch ähnlicher und bleibt stabiler. Deshalb werden professionelle Sprecherstimmen üblicherweise auf diese Weise erstellt.

Neuere Systeme behandeln Sprache wie Text. Ein neuronaler Audiocodec komprimiert Audio mithilfe einer residualen Vektorquantisierung in diskrete Token, die ein sprachbasiertes Transformer-Modell erzeugt. Microsofts VALL-E, das im Januar 2023 vorgestellt wurde, wurde mit 60.000 Stunden englischer Sprache trainiert und setzt einen dreisekündigen Prompt mit derselben Stimme, Emotion und Raumakustik fort. Microsoft veröffentlichte das Modell wegen des Missbrauchsrisikos nicht öffentlich. OpenAI ging bei Voice Engine genauso vor und zeigte im März 2024 ein Stimmenklonen anhand einer 15-sekündigen Aufnahme. Bei allen Verfahren werden Rauschen, Übersteuerungen und Raumhall aus der Referenz in die geklonte Stimme übernommen.

Stimmklonen im Vergleich zu Sprachsynthese und Stimmenumwandlung#

Herkömmliche TTS-Systeme sprechen mit einer festgelegten Auswahl eigens entwickelter oder lizenzierter Stimmen. Das Klonen erweitert dies um die Möglichkeit, gezielt die Stimme einer bestimmten Person nachzubilden. Die Stimmkonvertierung ist eng damit verwandt: Sie verwendet aufgezeichnete Sprache als Eingabe und ersetzt die Sprecheridentität, während Wörter, Timing und Emotion der ursprünglichen Darbietung erhalten bleiben. Sprache-zu-Text arbeitet in umgekehrter Richtung und transkribiert Audio in Wörter. Die automatische Synchronisation verbindet alle drei Schritte: den ursprünglichen Dialog transkribieren, ihn übersetzen und die Übersetzung anschließend mit der geklonten Stimme des Schauspielers sprechen.

Eine geklonte Stimme, mit der jemand scheinbar etwas sagt, das diese Person nie gesagt hat, ist ein Audio-Deepfake.

Stimmkonservierung, Synchronisation und Spieldialoge#

• Stimmkonservierung mit Apples Personal Voice: Menschen, bei denen ALS diagnostiziert wurde oder denen eine Kehlkopfoperation bevorsteht, nehmen eine kurze Liste von Sätzen auf, solange sie noch dazu in der Lage sind. Das iPhone erstellt direkt auf dem Gerät eine synthetische Version ihrer Stimme, mit der es die eingegebenen Nachrichten vorliest.
• Synchronisation und Sprechertexte: Studios und Hörbuchverlage verwenden autorisierte Stimmklone, um Inhalte in der Stimme des ursprünglichen Sprechers in andere Sprachen zu übertragen und korrigierte Textstellen aufzunehmen, ohne den Sprecher erneut ins Studio holen zu müssen.
• Spiele und virtuelle Assistenten: Entwickler erzeugen große Mengen an Dialogen für Figuren mit einer einheitlichen Stimme, wobei Synchronsprecher ihre Stimmklone vertraglich lizenzieren.

Betrug, Einwilligung und Erkennung#

Kriminelle klonen eine Stimme aus Social-Media-Clips und rufen dann Angehörige oder Mitarbeiter mit einer dringenden Geldforderung an. Der zuverlässige Schutz vor diesen Betrugsmaschen mit vorgetäuschten Notfällen besteht darin, aufzulegen und die Person unter einer bekannten Nummer zurückzurufen. Im Januar 2024 forderten automatische Anrufe mit einer geklonten Stimme von Präsident Biden Wähler in New Hampshire auf, die Vorwahl des Bundesstaats auszulassen. Im Februar 2024 entschied die US Federal Communications Commission, dass KI-generierte Stimmen im Sinne des Telephone Consumer Protection Act als „künstlich“ gelten. Damit sind solche automatischen Anrufe ohne vorherige Einwilligung illegal. Verantwortungsbewusste Sprachplattformen verlangen eine aufgezeichnete Einwilligung der betreffenden Person, schränken das Klonen öffentlicher Personen ein und betten unhörbare KI-Wasserzeichen in generierte Audiodateien ein, damit sie später identifiziert werden können. C2PA Content Credentials ergänzen eine signierte Aufzeichnung darüber, wie eine Mediendatei erstellt und bearbeitet wurde.

Zur Erkennung werden Audio- und Bildmerkmale kombiniert. Audioklassifikatoren suchen nach spektralen Artefakten, die Vocoder hinterlassen. Die seit 2015 stattfindende ASVspoof-Challenge-Reihe bewertet sie anhand neuer Klon- und Konvertierungsangriffe. Bei der Videoanalyse werden Lippenbewegungen mit der Tonspur verglichen, um eine geklonte Stimme zu erkennen, die über echtes Filmmaterial gelegt wurde. Denn wenn sich der Mund bei den Lauten „b“, „m“ und „p“ schließt, muss das genau im selben Moment mit dem Ton übereinstimmen. Dazu wird zunächst das Gesicht des Sprechers in jedem Bild gesucht und verfolgt. Diese Aufgabe erledigt ein mit Ultralytics YOLO26 trainierter Gesichtsdetektor in Echtzeit im Tracking-Modus. Er weist jedem Gesicht eine dauerhafte ID zu, sodass das Lippen-Synchronisationsmodell für jede sprechende Person eine durchgehende Folge von Mund-Ausschnitten erhält.