Voice Cloning

Ses klonlama, belirli bir kişinin sesini kullanarak yeni konuşma üretmek için üretken yapay zekânın kullanılmasıdır. Klonlama sistemi, bir konuşmacının kayıtlarını kullanarak perde, tını, aksan ve ritim dâhil o sesi tanınır kılan özellikleri öğrenir; ardından yeni bir metni veya çevrilmiş bir satırı o sesle söyler. Baidu'dan Sercan Arık ve çalışma arkadaşları, 2018 tarihli "Birkaç Örnekle Sinirsel Ses Klonlama" makalelerinde bugün de kullanılan iki yaklaşımı tanımladı: çok konuşmacılı bir modeli yeni sese uyarlamak veya modelin koşullandığı bir vektöre sesi kodlamak. Modern sistemler birkaç saniyelik sesten ikna edici bir klon üretebilir; bu da teknolojiyi erişilebilirlik ve medya üretimi için değerli, dolandırıcılar içinse bir o kadar kullanışlı kılar.

Ses Klonu Nasıl Oluşturulur#

Klonlama sistemlerinin çoğu, konuşmacı kimliğini temsil eden bir bileşenle metinden konuşmaya (TTS) teknolojisini genişletir. Binlerce sesle eğitilen bir konuşmacı kodlayıcı, referans kaydı konuşmacı gömüsü adı verilen sabit uzunlukta bir vektöre sıkıştırır. Google'ın 2018 tarihli SV2TTS sistemi kodlayıcısını konuşmacı doğrulaması, yani iki kaydın aynı kişiden gelip gelmediğine karar verme göreviyle eğitti ve daha önce görülmemiş bir konuşmacının yalnızca birkaç saniyelik sesini gerektirdi. TTS modeli, metni gömüyle birlikte alır ve mel spektrogram gibi bir akustik gösterim tahmin eder; sinirsel vokoder da bunu ses dalga biçimine dönüştürür.

Sistemler sesleri başlıca iki yolla klonlar:

• Sıfır örnekli klonlama: Genellikle 3 ila 30 saniye uzunluğunda kısa bir referans klibini, birçok konuşmacıyla eğitilmiş modele verir. Model yeniden eğitilmediğinden yeni ses anında kullanılabilir; ancak belirgin aksanlar ve duygulu konuşma daha az güvenilir biçimde aktarılır.
• İnce ayar yapılmış klonlama: Modelin ağırlıklarını, tek bir konuşmacının dakikalarca veya saatlerce süren temiz kayıtlarıyla uyarlar. Daha fazla veri ve hesaplama gücü gerektirir, ancak daha yakın ve tutarlı bir eşleşme sağlar; profesyonel anlatım seslerinin genellikle bu yöntemle oluşturulmasının nedeni budur.

Daha yeni sistemler konuşmayı dil olarak ele alır. Sinirsel bir ses kodeği, kalıntılı vektör nicemleme ile sesi ayrık belirteçlere sıkıştırır; ardından bir Transformer dil modeli bu belirteçleri üretir. Microsoft'un 60.000 saatlik İngilizce konuşmayla eğitilmiş VALL-E modeli (Ocak 2023), üç saniyelik bir istemi aynı ses, duygu ve oda akustiğiyle sürdürür. Microsoft, kötüye kullanım riskleri nedeniyle modeli kamuya açmadı. OpenAI da Voice Engine ile benzer bir yol izledi ve Mart 2024'te 15 saniyelik bir örnekten ses klonladığını gösterdi. Her yaklaşımda referans kayıttaki gürültü, kırpılma ve oda yankısı klona da aktarılır.

Klonlama, Metinden Konuşma ve Ses Dönüşümü#

Standart TTS, tasarlanmış veya lisanslanmış sabit bir ses kümesiyle konuşur; ses klonlama ise belirli bir kişiyi hedefleme olanağı ekler. Yakın bir yöntem olan ses dönüştürme, kaydedilmiş konuşmayı girdi olarak alır ve özgün performansın sözcüklerini, zamanlamasını ve duygusunu korurken konuşmacı kimliğini değiştirir. Konuşmayı metne dönüştürme bunun tersini yapar ve ses kaydını sözcüklere döker. Otomatik dublaj bu üç işlemi birleştirir: özgün diyaloğu dök, çevir, ardından çeviriyi oyuncunun klonlanmış sesiyle seslendir.

Bir kişinin hiç söylemediği bir şeyi söylemiş gibi görünmesini sağlamak için kullanılan klonlanmış ses, sesli bir deepfake örneğidir.

Ses Bankacılığı, Dublaj ve Oyun Diyalogları#

• Apple'ın Personal Voice özelliğiyle ses bankacılığı: ALS teşhisi konan veya boğaz ameliyatı olacak kişiler, hâlâ yapabiliyorken kısa bir ifade listesi kaydeder; iPhone da yazdıkları mesajları seslendirmek için cihaz üzerinde seslerinin sentetik bir sürümünü oluşturur.
• Dublaj ve anlatım: Stüdyolar ve sesli kitap yayınevleri, içeriği özgün konuşmacının sesiyle başka dillere uyarlamak ve anlatıcıyı yeniden stüdyoya çağırmadan düzeltilmiş satırları kaydetmek için izin alınmış klonlar kullanır.
• Oyunlar ve sanal asistanlar: Geliştiriciler, karakter diyaloglarını tutarlı bir sesle büyük hacimlerde oluşturur; seslendirme sanatçıları da klonlarının kullanım lisansını sözleşmeyle verir.

Dolandırıcılık, İzin ve Tespit#

Suçlular, sosyal medya kliplerinden bir sesi klonlayıp acil para talebiyle bir akrabayı veya çalışanı arar; bu sahte acil durum dolandırıcılıklarına karşı güvenilir savunma, telefonu kapatıp kişiyi bilinen bir numaradan geri aramaktır. Ocak 2024'te, Başkan Biden'ın klonlanmış sesinin kullanıldığı otomatik aramalar New Hampshire seçmenlerine eyalet ön seçimlerini atlamalarını söyledi; Şubat 2024'te ise ABD Federal İletişim Komisyonu, yapay zekâ tarafından oluşturulan seslerin Telefon Tüketicilerini Koruma Yasası kapsamında "yapay" sayıldığına hükmederek önceden izin alınmadan yapılan bu tür otomatik aramaları yasa dışı kıldı. Sorumlu ses platformları, ses sahibinden kaydedilmiş onay alır, tanınmış kişilerin seslerinin klonlanmasını kısıtlar ve oluşturulan seslere daha sonra tanımlanabilmeleri için duyulamayan yapay zekâ filigranları ekler. C2PA İçerik Kimlik Bilgileri, bir medya dosyasının nasıl oluşturulup düzenlendiğine dair imzalı bir kayıt ekler.

Algılama, ses ve görüntü kanıtlarını birleştirir. Ses sınıflandırıcıları, vokoderlerin geride bıraktığı spektral bozulmaları arar; 2015'ten beri düzenlenen ASVspoof yarışma serisi de bu sistemleri yeni klonlama ve dönüştürme saldırılarına karşı kıyaslar. Video kontrolleri, gerçek görüntülerin üzerine dublajlanan klonlanmış sesleri yakalamak için dudak hareketlerini ses kaydıyla karşılaştırır; çünkü "b", "m" ve "p" seslerinde kapanan bir ağız, aynı anda sesle eşleşmelidir. Bu kontroller, her karede konuşmacının yüzünü bulup takip ederek başlar. Ultralytics YOLO26 ile eğitilmiş bir yüz algılayıcı bu işi gerçek zamanlı olarak izleme modunda yapar ve her yüze kalıcı bir kimlik atar; böylece dudak senkronizasyonu modeli, her konuşmacı için kesintisiz bir ağız kırpımları dizisi alır.