Voice Cloning

La clonación de voz consiste en utilizar la IA generativa para producir nuevo habla con la voz de una persona concreta. A partir de grabaciones de un hablante, un sistema de clonación aprende los rasgos que permiten reconocer su voz, como el tono, el timbre, el acento y el ritmo, y después pronuncia cualquier texto nuevo o frase traducida con esa voz. En su artículo de 2018 «Clonación neuronal de voz con unas pocas muestras», Sercan Arık y sus colaboradores de Baidu describieron los dos enfoques que siguen utilizándose: adaptar un modelo multihablante a la nueva voz o codificarla en un vector que condicione el modelo. Los sistemas modernos crean una copia convincente con solo unos segundos de audio, lo que convierte esta tecnología en un recurso valioso para la accesibilidad y la producción de medios, y también en una herramienta útil para los estafadores.

Cómo se crea un clon de voz#

La mayoría de los sistemas de clonación amplían la conversión de texto a voz (TTS) con una representación de la identidad del hablante. Un codificador de hablantes, entrenado con miles de voces, comprime una grabación de referencia en un vector de longitud fija llamado embebido del hablante. El sistema SV2TTS de Google de 2018 entrenó su codificador para verificar hablantes, es decir, decidir si dos grabaciones procedían de la misma persona, y solo necesitaba unos segundos de audio de un hablante desconocido. El modelo TTS recibe el texto junto con el embebido y predice una representación acústica, como un espectrograma mel. Después, un vocoder neuronal la convierte en una onda de audio.

Los sistemas clonan voces principalmente de dos maneras:

• Clonación zero-shot: Proporciona al modelo un breve clip de referencia, normalmente de entre 3 y 30 segundos. El modelo está entrenado con muchos hablantes. No se vuelve a entrenar, por lo que se puede generar una voz nueva al instante, aunque la transferencia de acentos marcados y de la expresividad emocional es menos fiable.
• Clonación mediante ajuste fino: Adapta los pesos del modelo con minutos u horas de grabaciones limpias de un solo hablante. Necesita más datos y capacidad de cálculo, pero produce una imitación más fiel y estable; por eso, las voces profesionales para narración suelen crearse de esta manera.

Los sistemas más recientes tratan el habla como lenguaje. Un códec neuronal de audio comprime el sonido en tokens discretos mediante cuantización vectorial residual, y un modelo de lenguaje transformer genera esos tokens. VALL-E de Microsoft (enero de 2023), entrenado con 60 000 horas de habla en inglés, continúa un prompt de tres segundos con la misma voz, emoción y acústica de la sala. Microsoft no lo publicó porque podía utilizarse de forma indebida. OpenAI hizo lo mismo con Voice Engine, que presentó en marzo de 2024 como un sistema capaz de clonar una voz a partir de una muestra de 15 segundos. En todos los enfoques, el ruido, los recortes y el eco de la sala de la grabación de referencia también se oyen en la voz clonada.

Clonación frente a síntesis de voz y conversión de voz#

La síntesis de voz estándar (TTS) utiliza un conjunto fijo de voces diseñadas o con licencia, y la clonación añade la posibilidad de utilizar la voz de una persona concreta. La conversión de voz es una técnica estrechamente relacionada que toma como entrada un discurso grabado y cambia la identidad del hablante, pero conserva las palabras, el ritmo y la emoción de la interpretación original. La conversión de voz a texto funciona en sentido contrario y transcribe el audio en palabras. El doblaje automático encadena los tres procesos: transcribe el diálogo original, lo traduce y, después, pronuncia la traducción con la voz clonada del actor.

Una voz clonada que se utiliza para hacer parecer que alguien ha dicho algo que nunca dijo es un deepfake de audio.

Banco de voz, doblaje y diálogos de videojuegos#

• Banco de voz con Personal Voice de Apple: Las personas diagnosticadas de ELA o que van a someterse a una operación de garganta graban un breve conjunto de frases mientras aún pueden hacerlo, y el iPhone crea en el propio dispositivo una versión sintética de su voz para pronunciar los mensajes que escriben.
• Doblaje y narración: Los estudios y las editoriales de audiolibros utilizan clones autorizados para localizar contenido a otros idiomas con la voz del hablante original y para grabar frases corregidas sin que el narrador tenga que volver al estudio.
• Juegos y asistentes virtuales: Los desarrolladores generan grandes volúmenes de diálogos de personajes con una voz uniforme, y los actores de voz licencian sus clones mediante contrato.

Fraude, consentimiento y detección#

Los delincuentes clonan una voz a partir de fragmentos publicados en redes sociales y luego llaman a un familiar o empleado para pedirle dinero con urgencia; la defensa más fiable contra estas estafas de falsas emergencias es colgar y volver a llamar a la persona a un número conocido. En enero de 2024, unas llamadas automáticas con una voz clonada del presidente Biden instaron a los votantes de New Hampshire a no participar en las primarias del estado, y en febrero de 2024 la Comisión Federal de Comunicaciones de EE. UU. dictaminó que las voces generadas por IA se consideran «artificiales» en virtud de la Ley de Protección del Consumidor Telefónico, por lo que esas llamadas automáticas son ilegales sin consentimiento previo. Las plataformas de voz responsables exigen el consentimiento grabado del titular de la voz, restringen la clonación de figuras públicas e incorporan marcas de agua de IA inaudibles al audio generado para que pueda identificarse más adelante. Las credenciales de contenido C2PA añaden un registro firmado de cómo se creó y editó un archivo multimedia.

La detección combina pruebas de audio y vídeo. Los clasificadores de audio buscan artefactos espectrales que dejan los vocoders, y la serie de retos ASVspoof, activa desde 2015, los compara con nuevos ataques de clonación y conversión. Las comprobaciones de vídeo comparan el movimiento de los labios con la banda sonora para detectar una voz clonada doblada sobre imágenes reales, ya que una boca que se cierra al pronunciar los sonidos «b», «m» y «p» debe coincidir con el audio en ese mismo instante. Estas comprobaciones empiezan por detectar y seguir la cara del hablante en cada fotograma, una tarea que un detector facial entrenado con Ultralytics YOLO26 realiza en tiempo real en modo de seguimiento, asignando a cada cara un ID persistente para que el modelo de sincronización labial reciba una secuencia continua de recortes de la boca por hablante.