Text-to-Speech

A conversão de texto em fala (TTS), também chamada de síntese de fala, converte texto escrito em áudio falado. Um sistema TTS decide como pronunciar cada palavra, quanto tempo dura cada som e como o tom e a ênfase variam ao longo de uma frase, e então gera uma forma de onda. Os sistemas mais antigos juntavam fragmentos de fala gravados ou geravam áudio a partir de modelos estatísticos, com um som claramente sintético. O aprendizado profundo mudou isso: o WaveNet da DeepMind gerou áudio bruto, uma amostra de cada vez, em 2016; em 2017, o Tacotron 2 do Google alcançou uma pontuação média de opinião de 4,53 em 5, contra 4,58 para gravações profissionais. Os sistemas atuais falam muitos idiomas com muitas vozes, clonam uma voz a partir de alguns segundos de áudio e seguem instruções de tom, dando suporte a leitores de tela, assistentes de voz, audiolivros e IA conversacional. TTS é o inverso de fala para texto.

Como funciona a conversão de texto em fala#

Todo sistema começa com um front-end de texto. A normalização de texto transforma números, datas, moedas e abreviações em palavras, de modo que "Dr. Lee paid $3.50" se torne "Doctor Lee paid three dollars and fifty cents", e a conversão de grafemas em fonemas escolhe as pronúncias, inclusive para palavras como "read", cujo som depende do tempo verbal. Muitos modelos também preveem a prosódia: duração, tom e energia de cada som. Em seguida, duas famílias principais produzem o áudio:

• Modelo acústico e vocoder: Um modelo acústico prevê um espectrograma mel, uma representação compacta de como a energia se distribui entre as frequências ao longo do tempo, e um vocoder neural o converte em uma forma de onda. O Tacotron 2 previa espectrogramas de forma autorregressiva, um quadro após o outro. O FastSpeech prevê os espectrogramas em paralelo, com base nas durações de cada fonema, e gera espectrogramas mel 270 vezes mais rápido do que um transformer autorregressivo. O vocoder HiFi-GAN sintetiza áudio de 22,05 kHz a uma velocidade 167,9 vezes maior que o tempo real em uma única GPU V100. O Voicebox e o F5-TTS também preveem espectrogramas mel de forma não autorregressiva, usando correspondência de fluxo, e os enviam a um vocoder.
• Modelos de linguagem com tokens de áudio: O VALL-E da Microsoft trata a fala como tokens discretos de um codec de áudio neural e os gera com um modelo de linguagem transformer, da mesma forma que um LLM gera texto. Quando recebe como prompt uma gravação de 3 segundos de um locutor desconhecido, continua falando com a mesma voz.

Modelos de ponta a ponta, como o VITS, combinam o modelo acústico e o vocoder em uma única rede treinada em uma só etapa, e modelos multimodais, como o GPT-4o, geram fala diretamente como parte da resposta, sem uma etapa TTS separada.

Conversão de texto em fala vs. termos relacionados#

• Fala para texto: O caminho inverso, que transcreve áudio falado em texto. Os assistentes de voz encadeiam os dois: a fala para texto transcreve o usuário, um modelo de linguagem grande escreve a resposta e o TTS a pronuncia.
• Clonagem de voz: TTS que reproduz a voz de uma pessoa específica, a partir de um trecho curto de referência ou de um ajuste fino feito com gravações dessa pessoa. Sem consentimento, essa técnica produz deepfakes de áudio.
• Conversão de voz: Recebe fala gravada como entrada e altera a identidade do locutor, preservando as palavras e a forma de falar. O TTS começa com texto.

Aplicações no mundo real#

• Acessibilidade: Os leitores de tela leem em voz alta elementos da interface e documentos para pessoas cegas ou com baixa visão, e pessoas que perderam a voz digitam mensagens que uma voz sintetizada pronuncia por elas.
• Assistentes de voz e agentes: Agentes de atendimento ao cliente, assistentes veiculares e alto-falantes inteligentes falam respostas geradas, muitas vezes transmitindo o áudio da primeira frase enquanto o restante da resposta ainda está sendo escrito.
• Audiolivros, dublagem e e-learning: Editoras e criadores de cursos narram textos longos com vozes consistentes e em vários idiomas.
• Navegação: instruções passo a passo mantêm os olhos dos motoristas na estrada.

Combinado à visão computacional, o TTS descreve em voz alta o mundo físico, por exemplo, em dispositivos assistivos que dizem a uma pessoa cega o que está à sua frente. Este código executa a detecção de objetos do Ultralytics YOLO26 em uma foto de rua e fala o resultado com o gTTS, uma biblioteca Python para o serviço de conversão de texto em fala do Google Tradutor:

from collections import Counter

from gtts import gTTS
from ultralytics import YOLO

# Detect objects in a street photo with YOLO26
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Count detections per class and turn them into a sentence
counts = Counter(result.names[int(c)] for c in result.boxes.cls)
sentence = "I can see " + ", ".join(f"{n} {name}" for name, n in counts.items())

# Synthesize the sentence and save it as an MP3 file
gTTS(text=sentence, lang="en").save("detections.mp3")

O detections.mp3 salvo pronuncia uma frase que lista cada classe detectada e sua quantidade. O gTTS envia o texto aos servidores do Google, então o script precisa de conexão com a internet.

Como medir a qualidade da fala#

• Pontuação média de opinião (MOS): Os ouvintes avaliam a naturalidade de 1 a 5, e as gravações de locutores reais estabelecem o limite máximo.
• Inteligibilidade: um modelo de reconhecimento de fala transcreve o áudio sintetizado, e a taxa de erro de palavras em comparação com o texto de entrada mostra com que frequência as palavras são pronunciadas incorretamente, omitidas ou repetidas. O Voicebox alcançou uma taxa de erro de palavras de 1,9% em TTS zero-shot, contra 5,9% do VALL-E.
• Semelhança de locutor: Para vozes clonadas, a similaridade de cosseno entre os embeddings de locutor do áudio gerado e do áudio de referência mede o quanto as vozes se aproximam.
• Fator de tempo real (RTF): Tempo de síntese dividido pela duração do áudio. O F5-TTS informa um RTF de 0,15, gerando 10 segundos de fala em 1,5 segundo.