Voice Cloning

La clonazione vocale consiste nell'uso dell'IA generativa per produrre nuove registrazioni vocali che riproducono la voce di una persona specifica. A partire dalle registrazioni di un parlante, un sistema di clonazione apprende gli elementi che rendono riconoscibile quella voce, tra cui altezza, timbro, accento e ritmo, e poi legge qualsiasi nuovo testo o frase tradotta con quella voce. Nel loro articolo del 2018 «Clonazione neurale della voce con pochi campioni», Sercan Arık e i colleghi di Baidu hanno descritto i due approcci ancora in uso: adattare alla nuova voce un modello multivoce oppure codificare la voce in un vettore su cui il modello si basa. I sistemi moderni generano una copia convincente con pochi secondi di audio, rendendo questa tecnologia preziosa per l'accessibilità e la produzione multimediale, ma altrettanto utile ai truffatori.

Come si crea un clone vocale#

La maggior parte dei sistemi di clonazione estende la sintesi vocale (TTS) con una rappresentazione dell'identità del parlante. Un codificatore del parlante, addestrato su migliaia di voci, comprime una registrazione di riferimento in un vettore a lunghezza fissa chiamato embedding del parlante. Il sistema SV2TTS di Google del 2018 ha addestrato il codificatore sulla verifica del parlante, per stabilire se due registrazioni appartengano alla stessa persona, e richiedeva solo pochi secondi di audio di un parlante sconosciuto. Il modello TTS riceve il testo insieme all'embedding e prevede una rappresentazione acustica, come uno spettrogramma mel; un vocoder neurale la converte poi in una forma d'onda audio.

I sistemi clonano le voci principalmente in due modi:

• Clonazione zero-shot: fornisce al modello una breve clip di riferimento, spesso lunga da 3 a 30 secondi; il modello è stato addestrato su molti parlanti. Non serve riaddestrarlo, quindi una nuova voce è subito disponibile, anche se gli accenti marcati e la resa emotiva vengono riprodotti in modo meno affidabile.
• Clonazione con fine-tuning: adatta i pesi del modello usando da alcuni minuti a diverse ore di registrazioni pulite di un singolo parlante. Richiede più dati e capacità di calcolo, ma produce una corrispondenza più fedele e stabile: per questo le voci professionali per la narrazione si realizzano di solito in questo modo.

I sistemi più recenti trattano il parlato come linguaggio. Un codec audio neurale comprime l'audio in token discreti tramite quantizzazione vettoriale residua e un modello linguistico Transformer genera quei token. VALL-E di Microsoft, presentato a gennaio 2023 e addestrato su 60.000 ore di parlato inglese, prosegue un prompt di tre secondi con la stessa voce, emozione e acustica ambientale; Microsoft non lo ha reso pubblico per il rischio di uso improprio. OpenAI ha adottato la stessa linea con Voice Engine, presentato in anteprima a marzo 2024 come sistema capace di clonare una voce a partire da un campione di 15 secondi. In tutti gli approcci, il rumore, il clipping e il riverbero ambientale della registrazione di riferimento si ritrovano nella voce clonata.

Clonazione, sintesi vocale e conversione della voce a confronto#

La sintesi vocale standard parla usando un insieme fisso di voci progettate o concesse in licenza, mentre la clonazione aggiunge la possibilità di riprodurre la voce di una persona specifica. La conversione vocale è una tecnica strettamente correlata: prende in input un parlato registrato e sostituisce l’identità del parlante, mantenendo parole, tempi ed emozioni dell’esecuzione originale. La conversione da parlato a testo procede nella direzione opposta e trascrive l’audio in parole. Il doppiaggio automatico combina tutte e tre le operazioni: trascrive il dialogo originale, lo traduce e infine pronuncia la traduzione con la voce clonata dell’attore.

Una voce clonata usata per far sembrare che qualcuno dica qualcosa che non ha mai detto è un deepfake audio.

Voice banking, doppiaggio e dialoghi nei videogiochi#

• Clonazione vocale con Personal Voice di Apple: Le persone a cui è stata diagnosticata la SLA o che devono sottoporsi a un intervento alla gola registrano un breve gruppo di frasi finché possono ancora farlo; l’iPhone crea sul dispositivo una versione sintetica della loro voce per pronunciare i messaggi che digitano.
• Doppiaggio e narrazione: studi e case editrici di audiolibri usano cloni autorizzati per localizzare i contenuti in altre lingue mantenendo la voce del parlante originale e per registrare battute corrette senza richiamare il narratore in studio.
• Giochi e assistenti virtuali: Gli sviluppatori generano grandi quantità di dialoghi per i personaggi con una voce coerente, mentre gli attori vocali concedono in licenza i propri cloni tramite contratto.

Frodi, consenso e rilevamento#

I criminali clonano una voce da clip sui social media, poi chiamano un parente o un dipendente chiedendo urgentemente denaro; la difesa più efficace contro queste truffe con false emergenze consiste nel riagganciare e richiamare la persona a un numero verificato. Nel gennaio 2024, alcune chiamate automatiche con una voce clonata del presidente Biden hanno invitato gli elettori del New Hampshire a saltare le primarie dello Stato; nel febbraio 2024, la Federal Communications Commission statunitense ha stabilito che le voci generate dall’IA rientrano nella definizione di «artificiali» ai sensi del Telephone Consumer Protection Act, rendendo illegali queste chiamate automatiche senza consenso preventivo. Le piattaforme vocali responsabili richiedono il consenso registrato del proprietario della voce, limitano la clonazione di personaggi pubblici e incorporano filigrane IA impercettibili nell’audio generato, in modo che possa essere identificato in seguito. C2PA Content Credentials aggiunge una registrazione firmata delle modalità di creazione e modifica di un file multimediale.

Il rilevamento combina prove audio e visive. I classificatori audio cercano artefatti spettrali lasciati dai vocoder, e la serie di competizioni ASVspoof, attiva dal 2015, li valuta rispetto a nuovi attacchi di clonazione e conversione. I controlli video confrontano il movimento delle labbra con la traccia audio per individuare una voce clonata sovrapposta a filmati reali, poiché la chiusura della bocca per i suoni «b», «m» e «p» deve corrispondere all’audio nello stesso istante. Questi controlli iniziano individuando e seguendo il volto di chi parla in ogni fotogramma; è un compito che un rilevatore di volti addestrato con Ultralytics YOLO26 esegue in tempo reale in modalità di tracking, assegnando a ogni volto un ID persistente, così che il modello di sincronizzazione labiale riceva una sequenza continua di ritagli della bocca per ogni interlocutore.