Text-to-Speech

La conversión de texto a voz (TTS), también llamada síntesis de voz, transforma texto escrito en audio hablado. Un sistema TTS decide cómo se pronuncia cada palabra, cuánto dura cada sonido y cómo cambian el tono y el énfasis a lo largo de una frase; después genera una forma de onda. Los sistemas antiguos ensamblaban fragmentos de voz grabados o generaban audio a partir de modelos estadísticos, con un sonido claramente artificial. El aprendizaje profundo cambió esta situación: en 2016, WaveNet de DeepMind generaba audio sin procesar, una muestra cada vez, y en 2017 Tacotron 2 de Google obtuvo una puntuación media de opinión de 4,53 sobre 5, frente a 4,58 de las grabaciones profesionales. Los sistemas actuales hablan muchos idiomas con distintas voces, clonan una voz a partir de unos segundos de audio y siguen instrucciones sobre el tono, lo que permite utilizarse en lectores de pantalla, asistentes de voz, audiolibros e IA conversacional. La TTS es la inversa de la conversión de voz a texto.

Cómo funciona la conversión de texto a voz#

Todos los sistemas empiezan con una etapa de procesamiento del texto. La normalización de texto convierte números, fechas, monedas y abreviaturas en palabras; así, «Dr. Lee paid $3.50» pasa a ser «Doctor Lee pagó tres dólares y cincuenta centavos», y la conversión de grafemas a fonemas selecciona las pronunciaciones, incluso para palabras como «read», cuyo sonido depende del tiempo verbal. Muchos modelos también predicen la prosodia: la duración, el tono y la energía de cada sonido. A continuación, dos familias principales generan el audio:

• Modelo acústico más vocodificador: Un modelo acústico predice un espectrograma mel, una representación compacta de cómo se distribuye la energía entre las frecuencias a lo largo del tiempo, y un vocodificador neuronal lo convierte en una forma de onda. Tacotron 2 predecía espectrogramas de forma autorregresiva, un fotograma tras otro. FastSpeech los predice en paralelo a partir de la duración de cada fonema y genera espectrogramas mel 270 veces más rápido que un transformer autorregresivo. El vocodificador HiFi-GAN sintetiza audio a 22,05 kHz a una velocidad 167,9 veces superior a la velocidad real en una sola GPU V100. Voicebox y F5-TTS también predicen espectrogramas mel de forma no autorregresiva, mediante emparejamiento de flujos, y los envían a un vocodificador.
• Modelos de lenguaje con tokens de audio: VALL-E de Microsoft trata el habla como tokens discretos de un códec de audio neuronal y los genera con un modelo de lenguaje transformer, de forma parecida a como un LLM genera texto. Si se le proporciona una grabación de 3 segundos de una voz que no conoce, continúa con esa misma voz.

Los modelos integrales como VITS combinan el modelo acústico y el vocodificador en una sola red entrenada en una única etapa, mientras que los modelos multimodales, como GPT-4o, generan voz directamente como parte de su respuesta, sin una etapa TTS independiente.

Conversión de texto a voz frente a términos relacionados#

• Conversión de voz a texto: La dirección inversa: transcribir audio hablado a texto. Los asistentes de voz encadenan ambos procesos: la conversión de voz a texto transcribe lo que dice el usuario, un modelo de lenguaje de gran tamaño redacta la respuesta y la TTS la convierte en voz.
• Clonación de voz: TTS que reproduce la voz de una persona concreta a partir de un breve fragmento de referencia o de un ajuste fino con grabaciones de esa persona. Si se utiliza sin consentimiento, genera ultrafalsificaciones de audio.
• Conversión de voz: Recibe como entrada una grabación de voz y cambia la identidad del hablante, pero conserva las palabras y la forma de hablar. La TTS parte de texto.

Aplicaciones en el mundo real#

• Accesibilidad: Los lectores de pantalla leen en voz alta elementos de la interfaz y documentos para personas ciegas o con baja visión; quienes han perdido la voz escriben mensajes que una voz sintetizada lee por ellos.
• Asistentes de voz y agentes: Los agentes de atención al cliente, los asistentes integrados en vehículos y los altavoces inteligentes leen las respuestas generadas, a menudo reproduciendo en streaming la primera frase mientras aún se redacta el resto de la respuesta.
• Audiolibros, doblaje y formación en línea: Las editoriales y los creadores de cursos narran textos largos con voces uniformes y en muchos idiomas.
• Navegación: Las indicaciones giro a giro mantienen la vista de los conductores en la carretera.

Combinada con la visión artificial, la TTS describe en voz alta el mundo físico; por ejemplo, en dispositivos de asistencia que indican a una persona ciega qué tiene delante. Este código ejecuta la detección de objetos de Ultralytics YOLO26 sobre una foto de una calle y lee el resultado con gTTS, una biblioteca de Python para el servicio de conversión de texto a voz de Google Translate:

from collections import Counter

from gtts import gTTS
from ultralytics import YOLO

# Detect objects in a street photo with YOLO26
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Count detections per class and turn them into a sentence
counts = Counter(result.names[int(c)] for c in result.boxes.cls)
sentence = "I can see " + ", ".join(f"{n} {name}" for name, n in counts.items())

# Synthesize the sentence and save it as an MP3 file
gTTS(text=sentence, lang="en").save("detections.mp3")

El archivo guardado detections.mp3 pronuncia una frase que enumera cada clase detectada y su cantidad. gTTS envía el texto a los servidores de Google, así que el script necesita conexión a Internet.

Medición de la calidad del habla#

• Puntuación media de opinión (MOS): Los oyentes valoran la naturalidad de 1 a 5 y las grabaciones de hablantes reales marcan el máximo.
• Inteligibilidad: Un modelo de reconocimiento del habla transcribe el audio sintetizado y la tasa de error por palabra frente al texto de entrada indica con qué frecuencia las palabras se pronuncian mal, se omiten o se repiten. Voicebox alcanzó una tasa de error por palabra del 1,9 % en TTS sin ejemplos, frente al 5,9 % de VALL-E.
• Similitud de hablante: En las voces clonadas, la similitud coseno entre las incrustaciones de hablante del audio generado y el de referencia mide hasta qué punto coincide la voz.
• Factor de tiempo real (RTF): Tiempo de síntesis dividido por la duración del audio. F5-TTS indica un RTF de 0,15: genera 10 segundos de habla en 1,5 segundos.