Voice Cloning

Le clonage vocal consiste à utiliser l’IA générative pour produire de nouveaux discours dans la voix d’une personne précise. À partir d’enregistrements d’un locuteur, le système apprend les caractéristiques qui rendent sa voix reconnaissable — hauteur, timbre, accent et rythme — puis prononce tout nouveau texte ou toute phrase traduite avec cette voix. Dans leur article de 2018 « Neural Voice Cloning with a Few Samples », Sercan Arık et ses collègues de Baidu ont décrit les deux approches toujours utilisées : adapter à la nouvelle voix un modèle multilingue ou encoder la voix dans un vecteur qui conditionne le modèle. Les systèmes modernes produisent un clone convaincant à partir de quelques secondes d’audio, ce qui rend cette technologie précieuse pour l’accessibilité et la production médiatique, mais tout aussi utile aux fraudeurs.

Comment créer un clone vocal#

La plupart des systèmes de clonage étendent la synthèse vocale (TTS) en y ajoutant une représentation de l’identité du locuteur. Un encodeur de locuteur, entraîné sur des milliers de voix, compresse un enregistrement de référence en un vecteur de longueur fixe appelé plongement de locuteur. Le système SV2TTS de Google, conçu en 2018, a entraîné son encodeur à la vérification du locuteur — déterminer si deux enregistrements proviennent de la même personne — et n’avait besoin que de quelques secondes d’audio d’un locuteur inconnu. Le modèle TTS reçoit le texte et le plongement, puis prédit une représentation acoustique, comme un spectrogramme mel ; un vocodeur neuronal la convertit ensuite en forme d’onde audio.

Les systèmes clonent les voix de deux façons principales :

• Clonage zéro-shot : Fournit au modèle un court extrait de référence, souvent de 3 à 30 secondes, après entraînement sur de nombreux locuteurs. Aucun nouvel entraînement n’est nécessaire, de sorte qu’une nouvelle voix est disponible immédiatement, même si les accents prononcés et l’interprétation émotionnelle sont reproduits de façon moins fiable.
• Clonage par ajustement fin : Adapte les poids du modèle à partir de quelques minutes à plusieurs heures d’enregistrements propres d’un seul locuteur. Cette méthode nécessite davantage de données et de puissance de calcul, mais produit une imitation plus fidèle et plus stable, d’où son utilisation habituelle pour les voix professionnelles de narration.

Les systèmes plus récents traitent la parole comme du langage. Un codec audio neuronal compresse l’audio en jetons discrets par quantification vectorielle résiduelle, puis un modèle de langage transformer génère ces jetons. Le modèle VALL-E de Microsoft (janvier 2023), entraîné sur 60 000 heures de parole en anglais, prolonge un prompt de trois secondes en conservant la même voix, la même émotion et la même acoustique de pièce ; Microsoft ne l’a pas rendu public en raison du risque d’utilisation abusive. OpenAI a suivi la même voie avec Voice Engine, présenté en mars 2024 comme capable de cloner une voix à partir d’un échantillon de 15 secondes. Quelle que soit l’approche, le bruit, l’écrêtage et la réverbération de la pièce présents dans l’enregistrement de référence se retrouvent dans le clone.

Clonage, synthèse vocale et conversion de voix#

La synthèse vocale standard utilise un ensemble fixe de voix conçues ou sous licence, et le clonage ajoute la possibilité de cibler une personne en particulier. La conversion vocale est une technique proche qui prend un discours enregistré en entrée et remplace l’identité du locuteur tout en conservant les mots, le rythme et l’émotion de la performance d’origine. La transcription de la parole fonctionne dans le sens inverse et convertit l’audio en texte. Le doublage automatisé enchaîne ces trois étapes : transcrire le dialogue d’origine, le traduire, puis prononcer la traduction avec la voix clonée de l’acteur.

Une voix clonée utilisée pour faire croire qu’une personne a dit quelque chose qu’elle n’a jamais dit constitue un hypertrucage audio.

Banques vocales, doublage et dialogues de jeu vidéo#

• Conservation de la voix avec la voix personnelle d'Apple : Les personnes diagnostiquées avec la SLA ou qui doivent subir une opération de la gorge enregistrent un petit ensemble de phrases tant qu'elles le peuvent encore, puis l'iPhone crée sur l'appareil une version synthétique de leur voix pour prononcer les messages qu'elles tapent.
• Doublage et narration : les studios et les éditeurs de livres audio utilisent des clones autorisés pour adapter des contenus dans d'autres langues avec la voix du locuteur d'origine et enregistrer des répliques corrigées sans faire revenir un narrateur en studio.
• Jeux et assistants virtuels : Les développeurs génèrent de grands volumes de dialogues de personnages avec une voix cohérente, les comédiens prêtant leur voix sous licence contractuelle à leurs clones vocaux.

Fraude, consentement et détection#

Les criminels clonent une voix à partir de vidéos publiées sur les réseaux sociaux, puis appellent un proche ou un employé pour lui demander de l'argent de toute urgence ; pour se protéger de ces arnaques aux fausses urgences, le plus sûr est de raccrocher et de rappeler la personne à un numéro connu. En janvier 2024, des appels automatisés utilisant une voix clonée du président Biden ont dit aux électeurs du New Hampshire de ne pas participer aux primaires de l'État ; en février 2024, la Commission fédérale des communications des États-Unis a statué que les voix générées par l'IA sont considérées comme « artificielles » au sens de la loi sur la protection des consommateurs en matière de télécommunications, rendant ces appels automatisés illégaux sans consentement préalable. Les plateformes vocales responsables exigent le consentement enregistré du propriétaire de la voix, limitent le clonage de personnalités publiques et intègrent des filigranes IA inaudibles dans l'audio généré afin qu'il puisse être identifié ultérieurement. Les informations d'identification de contenu C2PA ajoutent un historique signé de la création et de la modification d'un fichier multimédia.

La détection combine des indices audio et visuels. Les classificateurs audio recherchent les artefacts spectraux laissés par les vocodeurs, et la série de défis ASVspoof, organisée depuis 2015, les évalue face à de nouvelles attaques de clonage et de conversion. Les vérifications vidéo comparent les mouvements des lèvres à la bande-son pour repérer une voix clonée doublée sur des images réelles, car la fermeture de la bouche pour les sons « b », « m » et « p » doit correspondre à l'audio au même instant. Ces vérifications commencent par détecter et suivre le visage de la personne qui parle dans chaque image, une tâche qu'un détecteur de visages entraîné avec Ultralytics YOLO26 effectue en temps réel en mode suivi, en attribuant à chaque visage un identifiant persistant afin que le modèle de synchronisation labiale reçoive une séquence continue de recadrages de la bouche pour chaque personne.