Text-to-Speech

La synthèse vocale (TTS), également appelée synthèse de la parole, convertit du texte écrit en audio parlé. Un système TTS détermine la prononciation de chaque mot, la durée de chaque son et les variations de hauteur et d’accentuation au fil d’une phrase, puis génère une forme d’onde. Les anciens systèmes assemblaient des fragments de parole enregistrés ou généraient de l’audio à partir de modèles statistiques, avec un rendu manifestement artificiel. L’apprentissage profond a changé la donne : en 2016, WaveNet de DeepMind générait l’audio brut échantillon par échantillon ; en 2017, Tacotron 2 de Google a obtenu un score d’opinion moyen de 4.53 sur 5, contre 4.58 pour des enregistrements professionnels. Les systèmes actuels parlent de nombreuses langues avec de nombreuses voix, imitent une voix à partir de quelques secondes d’audio et suivent des consignes de ton. Ils alimentent les lecteurs d’écran, les assistants vocaux, les livres audio et l’IA conversationnelle. La TTS est l’inverse de la reconnaissance vocale.

Fonctionnement de la synthèse vocale#

Chaque système commence par un prétraitement du texte. La normalisation du texte développe les nombres, les dates, les devises et les abréviations en toutes lettres, de sorte que « Dr. Lee paid $3.50 » devient « Doctor Lee paid three dollars and fifty cents », puis la conversion graphème-phonème détermine les prononciations, y compris celles de mots comme « read », dont la sonorité dépend du temps verbal. De nombreux modèles prédisent également la prosodie, c’est-à-dire la durée, la hauteur et l’énergie de chaque son. Deux grandes familles produisent ensuite l’audio :

• Modèle acoustique et vocodeur : Un modèle acoustique prédit un spectrogramme mel, représentation compacte de la répartition de l’énergie sur les fréquences au fil du temps, qu’un vocodeur neuronal convertit en forme d’onde. Tacotron 2 prédisait les spectrogrammes de manière autorégressive, trame après trame. FastSpeech les prédit en parallèle à partir de durées par phonème, et génère les spectrogrammes mel 270 fois plus vite qu’un transformeur autorégressif. Le vocodeur HiFi-GAN synthétise de l’audio à 22.05 kHz 167.9 fois plus vite que le temps réel sur un seul GPU V100. Voicebox et F5-TTS prédisent également des spectrogrammes mel de façon non autorégressive, en utilisant le flow matching, puis les transmettent à un vocodeur.
• Modèles de langage à jetons audio : Le modèle VALL-E de Microsoft traite la parole comme des jetons discrets issus d’un codec audio neuronal et les génère à l’aide d’un modèle de langage transformeur, à la manière d’un LLM qui génère du texte. À partir d’un enregistrement de 3 secondes d’un locuteur inconnu, il poursuit dans la même voix.

Les modèles de bout en bout comme VITS réunissent le modèle acoustique et le vocodeur au sein d’un seul réseau entraîné en une seule étape, tandis que les modèles multimodaux comme GPT-4o génèrent directement de la parole dans leur réponse, sans étape TTS distincte.

La synthèse vocale et les termes apparentés#

• Reconnaissance vocale : Le processus inverse, qui transcrit la parole en texte. Les assistants vocaux enchaînent les deux : la reconnaissance vocale transcrit l’utilisateur, un grand modèle de langage rédige la réponse, puis la TTS la prononce.
• Clonage vocal : Synthèse vocale visant à reproduire la voix d’une personne en particulier, à partir d’un court extrait de référence ou d’un réglage fin sur des enregistrements de cette personne. Utilisée sans consentement, elle produit des hypertrucages audio.
• Conversion vocale : Prend un enregistrement vocal en entrée et modifie l’identité du locuteur tout en conservant les mots et le débit. La TTS part du texte.

Applications concrètes#

• Accessibilité : Les lecteurs d’écran lisent à voix haute les éléments d’interface et les documents pour les personnes aveugles ou malvoyantes ; les personnes qui ont perdu la voix saisissent des messages qu’une voix synthétique prononce à leur place.
• Assistants vocaux et agents : Les agents du service client, les assistants embarqués et les enceintes connectées prononcent des réponses générées, souvent en diffusant l’audio de la première phrase pendant que le reste de la réponse est encore en cours de rédaction.
• Livres audio, doublage et apprentissage en ligne : Les éditeurs et les créateurs de cours narrent de longs textes avec des voix cohérentes dans de nombreuses langues.
• Navigation : les instructions étape par étape aident les conducteurs à garder les yeux sur la route.

Associée à la vision par ordinateur, la TTS décrit à voix haute le monde physique, par exemple sur des appareils d’assistance qui indiquent à une personne aveugle ce qui se trouve devant elle. Ce code exécute la détection d’objets Ultralytics YOLO26 sur une photo de rue et prononce le résultat avec gTTS, une bibliothèque Python pour le service de synthèse vocale de Google Traduction :

from collections import Counter

from gtts import gTTS
from ultralytics import YOLO

# Detect objects in a street photo with YOLO26
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Count detections per class and turn them into a sentence
counts = Counter(result.names[int(c)] for c in result.boxes.cls)
sentence = "I can see " + ", ".join(f"{n} {name}" for name, n in counts.items())

# Synthesize the sentence and save it as an MP3 file
gTTS(text=sentence, lang="en").save("detections.mp3")

L’image enregistrée detections.mp3 prononce une phrase qui énumère chaque classe détectée avec son nombre d’occurrences. gTTS envoie le texte aux serveurs de Google ; le script a donc besoin d’une connexion Internet.

Évaluer la qualité de la parole#

• Score d’opinion moyen (MOS) : Les auditeurs évaluent le naturel sur une échelle de 1 à 5, et les enregistrements de locuteurs réels fixent le maximum.
• Intelligibilité : un modèle de reconnaissance vocale transcrit l’audio synthétisé, et le taux d’erreur sur les mots, calculé par rapport au texte d’entrée, indique la fréquence à laquelle des mots sont mal prononcés, omis ou répétés. Voicebox a atteint un taux d’erreur sur les mots de 1,9 % en synthèse vocale TTS zero-shot, contre 5,9 % pour VALL-E.
• Similarité du locuteur : Pour les voix clonées, la similarité cosinus entre les représentations vectorielles du locuteur dans l’audio généré et l’audio de référence mesure à quel point les voix correspondent.
• Facteur temps réel (RTF) : Durée de synthèse divisée par la durée audio. F5-TTS rapporte un RTF de 0.15, en générant 10 secondes de parole en 1.5 seconde.