Voice Cloning

A clonagem de voz é o uso de IA generativa para produzir novas falas com a voz de uma pessoa específica. A partir de gravações de um locutor, um sistema de clonagem aprende o que torna essa voz reconhecível, incluindo tom, timbre, sotaque e ritmo, e depois pronuncia qualquer texto novo ou trecho traduzido com essa voz. Sercan Arık e colegas da Baidu apresentaram as duas abordagens ainda usadas no artigo de 2018 «Neural Voice Cloning with a Few Samples»: adaptar à nova voz um modelo com vários locutores ou codificar a voz num vetor que serve de condicionamento para o modelo. Os sistemas modernos geram clones convincentes com poucos segundos de áudio, o que torna essa tecnologia valiosa para acessibilidade e produção de mídia, e igualmente útil para fraudadores.

Como uma voz clonada é criada#

A maioria dos sistemas de clonagem amplia a conversão de texto em fala (TTS) com uma representação da identidade do locutor. Um codificador de locutor, treinado com milhares de vozes, comprime uma gravação de referência num vetor de comprimento fixo chamado embedding do locutor. O sistema SV2TTS do Google, de 2018, treinou o codificador para verificar se duas gravações pertencem à mesma pessoa e precisava de apenas alguns segundos de áudio de um locutor desconhecido. O modelo TTS recebe o texto junto com o embedding e prevê uma representação acústica, como um espectrograma mel; um vocoder neural converte essa representação numa forma de onda de áudio.

Os sistemas clonam vozes de duas formas principais:

• Clonagem zero-shot: Fornece ao modelo um breve clipe de referência, muitas vezes com 3 a 30 segundos, e usa um modelo treinado com muitos locutores. Nada é retreinado, por isso uma nova voz fica disponível imediatamente, embora sotaques fortes e a expressão de emoções sejam transferidos com menos fidelidade.
• Clonagem ajustada finamente: Adapta os pesos do modelo com minutos ou horas de gravações nítidas de um locutor. Exige mais dados e computação e gera uma correspondência mais próxima e estável, razão pela qual as vozes para narração profissional costumam ser criadas dessa maneira.

Os sistemas mais recentes tratam a fala como linguagem. Um codec neural de áudio comprime o áudio em tokens discretos com quantização vetorial residual, e um modelo de linguagem transformer gera esses tokens. O VALL-E da Microsoft, lançado em janeiro de 2023 e treinado com 60.000 horas de fala em inglês, dá continuidade a um prompt de três segundos com a mesma voz, emoção e acústica da sala; a Microsoft não o disponibilizou publicamente devido ao risco de uso indevido. A OpenAI fez o mesmo com o Voice Engine, que apresentou em março de 2024 como capaz de clonar uma voz a partir de uma amostra de 15 segundos. Em todas as abordagens, o ruído, o corte do áudio e o eco da sala na referência também aparecem no clone.

Clonagem, síntese de fala e conversão de voz#

A conversão de texto em voz (TTS) padrão utiliza um conjunto fixo de vozes concebidas ou licenciadas, e a clonagem acrescenta a possibilidade de selecionar uma pessoa específica. A conversão de voz é uma técnica relacionada que recebe fala gravada como entrada e substitui a identidade do orador, mantendo as palavras, a temporização e a emoção da interpretação original. A conversão de voz em texto funciona na direção oposta, transcrevendo o áudio em palavras. A dobragem automática combina os três processos: transcreve o diálogo original, traduz o texto e, em seguida, reproduz a tradução com a voz clonada do ator.

Uma voz clonada usada para fazer alguém parecer dizer algo que nunca disse é um deepfake de áudio.

Banco de voz, dublagem e diálogos de jogos#

• Banco de voz com o Personal Voice da Apple: Pessoas diagnosticadas com ELA ou que vão fazer uma cirurgia à garganta gravam um conjunto curto de frases enquanto ainda conseguem, e o iPhone cria no dispositivo uma versão sintética da voz delas para dizer as mensagens que escrevem.
• Dublagem e narração: Estúdios e editoras de audiolivros usam clones autorizados para localizar conteúdo em outros idiomas com a voz do locutor original e gravar falas corrigidas sem precisar trazer o narrador de volta ao estúdio.
• Jogos e assistentes virtuais: Os programadores geram grandes volumes de diálogos para personagens com uma voz consistente, enquanto os atores de voz licenciam os seus clones por contrato.

Fraude, consentimento e deteção#

Os criminosos clonam uma voz a partir de clips das redes sociais e depois telefonam a um familiar ou funcionário com um pedido urgente de dinheiro; a defesa mais fiável contra estes esquemas de falsas emergências é desligar e ligar de volta para a pessoa através de um número conhecido. Em janeiro de 2024, chamadas automáticas com uma voz clonada do presidente Biden disseram aos eleitores do New Hampshire para não votarem nas primárias do estado; em fevereiro de 2024, a Comissão Federal de Comunicações dos EUA decidiu que as vozes geradas por IA são consideradas «artificiais» ao abrigo da Lei de Proteção do Consumidor por Telefone, tornando ilegais essas chamadas automáticas sem consentimento prévio. As plataformas de voz responsáveis exigem o consentimento gravado do proprietário da voz, restringem a clonagem de figuras públicas e incorporam marcas de água de IA inaudíveis no áudio gerado para que possa ser identificado mais tarde. As Credenciais de Conteúdo C2PA acrescentam um registo assinado de como um ficheiro multimédia foi criado e editado.

A deteção combina evidências de áudio e vídeo. Os classificadores de áudio procuram artefactos espectrais deixados pelos vocoders, e a série de desafios ASVspoof, realizada desde 2015, avalia-os face a novos ataques de clonagem e conversão. As verificações de vídeo comparam o movimento dos lábios com a banda sonora para detetar uma voz clonada dobrada sobre imagens reais, uma vez que uma boca que se fecha para produzir os sons «b», «m» e «p» tem de coincidir com o áudio no mesmo instante. Essas verificações começam por encontrar e acompanhar o rosto de quem fala em cada fotograma, uma tarefa que um detetor facial treinado com Ultralytics YOLO26 executa em tempo real no modo de seguimento, atribuindo a cada rosto um ID persistente para que o modelo de sincronização labial receba uma sequência contínua de recortes da boca por locutor.