Text-to-Speech

La sintesi vocale (TTS), detta anche sintesi del parlato, converte il testo scritto in audio parlato. Un sistema TTS decide come pronunciare ogni parola, quanto dura ciascun suono e come variano intonazione ed enfasi nel corso di una frase, quindi genera una forma d’onda. I sistemi più datati assemblavano frammenti di parlato registrato oppure generavano audio da modelli statistici e suonavano chiaramente sintetici. Il deep learning ha cambiato le cose: nel 2016 WaveNet di DeepMind generava audio grezzo un campione alla volta e nel 2017 Tacotron 2 di Google ha ottenuto un punteggio medio di 4.53 su 5, contro 4.58 per le registrazioni professionali. I sistemi attuali parlano molte lingue con voci diverse, clonano una voce partendo da pochi secondi di audio e seguono istruzioni sul tono, alimentando lettori di schermo, assistenti vocali, audiolibri e IA conversazionale. La TTS è l’inverso della trascrizione del parlato in testo.

Come funziona la sintesi vocale#

Ogni sistema parte da un front-end testuale. La normalizzazione del testo espande numeri, date, valute e abbreviazioni trasformandoli in parole: ad esempio, "Dr. Lee paid $3.50" diventa "Doctor Lee paid three dollars and fifty cents"; la conversione da grafemi a fonemi seleziona poi le pronunce, anche per parole come "read", il cui suono dipende dal tempo verbale. Molti modelli prevedono anche la prosodia, cioè la durata, l’intonazione e l’energia di ogni suono. Le due principali famiglie generano quindi l’audio:

• Modello acustico più vocoder: un modello acustico prevede uno spettrogramma mel, una rappresentazione compatta della distribuzione dell’energia tra le frequenze nel tempo, e un vocoder neurale lo converte in una forma d’onda. Tacotron 2 prevedeva gli spettrogrammi in modo autoregressivo, un frame dopo l’altro. FastSpeech li prevede in parallelo usando le durate per fonema e genera spettrogrammi mel 270 volte più velocemente di un transformer autoregressivo. Il vocoder HiFi-GAN sintetizza audio a 22.05 kHz con una velocità 167.9 volte superiore al tempo reale su una singola GPU V100. Anche Voicebox e F5-TTS prevedono spettrogrammi mel in modo non autoregressivo, usando il flow matching, e li passano a un vocoder.
• Modelli linguistici con token audio: VALL-E di Microsoft tratta il parlato come token discreti provenienti da un codec audio neurale e li genera con un modello linguistico Transformer, proprio come un LLM genera testo. Quando riceve come prompt una registrazione di 3 secondi di un parlante mai sentito prima, continua a parlare con quella voce.

I modelli end-to-end, come VITS, integrano il modello acustico e il vocoder in un’unica rete addestrata in una sola fase; i modelli multimodali, come GPT-4o, generano il parlato direttamente come parte della risposta, senza un passaggio TTS separato.

Sintesi vocale a confronto con termini correlati#

• Riconoscimento vocale: il processo inverso, che trascrive l’audio parlato in testo. Gli assistenti vocali concatenano le due operazioni: il riconoscimento vocale trascrive ciò che dice l’utente, un modello linguistico di grandi dimensioni scrive la risposta e la TTS la pronuncia.
• Clonazione vocale: TTS che riproduce la voce di una persona specifica a partire da un breve campione di riferimento o tramite fine-tuning su registrazioni di quella persona. Se usata senza consenso, produce deepfake audio.
• Conversione vocale: prende in ingresso un parlato registrato e cambia l’identità del parlante, mantenendo le parole e il modo di parlare. La TTS parte invece dal testo.

Applicazioni nel mondo reale#

• Accessibilità: i lettori di schermo leggono ad alta voce elementi dell’interfaccia e documenti per le persone cieche e ipovedenti; chi ha perso la voce può digitare messaggi che vengono pronunciati da una voce sintetizzata.
• Assistenti vocali e agenti: gli agenti del servizio clienti, gli assistenti di bordo e gli altoparlanti intelligenti pronunciano risposte generate, spesso trasmettendo in streaming l’audio della prima frase mentre il resto della risposta è ancora in fase di stesura.
• Audiolibri, doppiaggio ed e-learning: editori e creatori di corsi narrano testi lunghi con voci coerenti e in molte lingue.
• Navigazione: le indicazioni svolta per svolta aiutano i conducenti a tenere gli occhi sulla strada.

Abbinata alla visione artificiale, la TTS descrive ad alta voce il mondo fisico, ad esempio sui dispositivi di assistenza che dicono a un utente cieco cosa si trova davanti a lui. Questo codice esegue rilevamento degli oggetti con Ultralytics YOLO26 su una foto di strada e pronuncia il risultato con gTTS, una libreria Python per il servizio di sintesi vocale di Google Translate:

from collections import Counter

from gtts import gTTS
from ultralytics import YOLO

# Detect objects in a street photo with YOLO26
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Count detections per class and turn them into a sentence
counts = Counter(result.names[int(c)] for c in result.boxes.cls)
sentence = "I can see " + ", ".join(f"{n} {name}" for name, n in counts.items())

# Synthesize the sentence and save it as an MP3 file
gTTS(text=sentence, lang="en").save("detections.mp3")

Il file detections.mp3 salvato pronuncia una frase che elenca ciascuna classe rilevata con il relativo conteggio. gTTS invia il testo ai server di Google, quindi lo script richiede una connessione Internet.

Misurare la qualità del parlato#

• Punteggio medio di opinione (MOS): gli ascoltatori valutano la naturalezza da 1 a 5; le registrazioni di parlanti reali stabiliscono il punteggio massimo.
• Intelligibilità: un modello di riconoscimento vocale trascrive l'audio sintetizzato e il tasso di errore sulle parole rispetto al testo di input indica con quale frequenza le parole vengono pronunciate in modo errato, omesse o ripetute. Voicebox ha raggiunto un tasso di errore sulle parole dell'1,9% nella generazione zero-shot di parlato, contro il 5,9% di VALL-E.
• Somiglianza del parlante: per le voci clonate, la somiglianza coseno tra gli embedding del parlante ricavati dall’audio generato e da quello di riferimento misura quanto la voce corrisponde all’originale.
• Fattore di tempo reale (RTF): tempo di sintesi diviso per la durata dell’audio. F5-TTS riporta un RTF di 0.15 e genera 10 secondi di parlato in 1.5 secondi.