Text-to-Video

Metinden videoya, "şafakta taze karda ağır adımlarla yürüyen kızıl tilki, alçak açıdan takip çekimi" gibi doğal dilde bir istemden video klibi üretmektir. Bu, gerekli tek girdisi metin olan video üretimi dalıdır ve metinden görüntüye üretime bir zaman ekseni ekler: model, istemde belirtilen nesneleri, tarzı ve kamera hareketlerini oluşturmalı, ayrıca tilkinin yürürken bacaklarını nasıl hareket ettireceği gibi yalnızca ima edilen hareketleri de tasarlamalıdır. 2022'deki ilk araştırma modelleri arasında, 9,4 milyar parametreli bir dönüştürücü olan Tsinghua Üniversitesinin CogVideo'su ve nesnelerin nasıl göründüğünü metin-görüntü çiftlerinden, nasıl hareket ettiğini ise etiketsiz videolardan öğrenen Meta'nın Make-A-Video'su vardı; bu nedenle eşleştirilmiş metin-video verilerine ihtiyaç duymuyordu. Şubat 2024'te önizlemesi sunulan OpenAI Sora, bir dakikalık yüksek çözünürlüklü klipler üretti; Meta Movie Gen Ekim 2024'te onu izledi. Google DeepMind Veo ailesi ise Mayıs 2025'te Veo 3'e ulaştı; Veo 3, OpenAI Sora 2 gibi görüntüyle eşzamanlı diyalog ve ses üretir.

Metin, Video Modelini Nasıl Koşullandırır#

T5 kodlayıcısı gibi sabitlenmiş bir dil modeli, istemi belirteç gömülerinden oluşan bir diziye dönüştürür. Genellikle sıkıştırılmış gizil bir video üzerinde çalışan difüzyon dönüştürücüsü, her gürültü giderme adımında çapraz dikkati kullanarak bu gömüleri okur; böylece klibin uzay-zaman yamalarının her biri kendisini betimleyen sözcüklere odaklanabilir. Üretim, diğer difüzyon modellerinde olduğu gibi rastgele gürültüyle başlar ve gürültü adım adım giderilir; sonunda bir kod çözücü temiz gizil temsili karelere dönüştürür.

İsteme bağlılık, Jonathan Ho ve Tim Salimans'ın 2022'de tanıttığı sınıflandırıcısız yönlendirmeyle ayarlanır. Eğitim sırasında örneklerin bir bölümünde istem atlanır; böylece tek bir ağ hem koşullu hem koşulsuz tahminleri öğrenir. Her örnekleme adımında model ikisini de hesaplar ve sonucu bir yönlendirme ölçeğiyle koşulsuz tahminden uzaklaştırır. Daha yüksek ölçekler çeşitlilik ve doğal renkler pahasına istemin daha harfi harfine izlenmesini sağlar.

Modelin öğrendiği metin, mimarisi kadar önemlidir. Eğitim videolarının çoğunda açıklama yoktur veya kısa ve gürültülü bir açıklama bulunur; bu nedenle OpenAI, Sora'nın eğitim kliplerini ayrıntılı açıklamalar yazan özel bir açıklama oluşturma modeliyle yeniden açıklamalandırdı. Ayrıca üretim sırasında kısa kullanıcı istemlerini aynı ayrıntılı tarzda genişletmek için GPT kullanıyor. Bu istem zenginleştirme, insanların istem yazma biçimiyle modelin eğitim aldığı açıklamalar arasındaki farkı kapatır.

Kullanım Alanları#

• Film ön görselleştirmesi: Yönetmenler ve oyun tasarımcıları, çekimden önce kamera açılarını, ışığı ve tempoyu denemek için yazılı bir sahneyi taslak bir klibe dönüştürür.
• Pazarlama ve reklam: Markalar, tek bir senaryodan ürün çekimleri ve sosyal medya klipleri için birçok varyasyon üretir.
• Eğitim ve açıklayıcı içerikler: Öğretmenler ve yayıncılar; tarihî sahneler veya hücre bölünmesi gibi çekilmesi zor süreçleri görselleştirir.
• Sentetik veri: Geceleri otoyoldan geçen bir geyik gibi nadir olayları betimleyen istemler, kareler etiketlendikten sonra algılama modellerini eğitmek için görüntüler üretir.

Hata Türleri ve Değerlendirme#

Metinden videoya modelleri çoğunlukla, istemin hassas ilişkilendirme gerektiren bölümlerinde başarısız olur. Sayılar değişir ("üç köpek" ikiye veya dörde dönüşür), nitelikler nesneler arasında yer değiştirir ("mavi kamyonun yanındaki kırmızı araba"), uzamsal ilişkiler tersine döner ve sahnedeki yazılar anlaşılmaz hâle gelir. Zamanla özneler başka şekillere dönüşür, yoktan belirir veya engellerin arkasında kaybolur; fiziksel etkileşimler de bozulur: OpenAI, Sora'nın cam kırılmasını doğru biçimde modellemediğini belirtti. Bu tür hatalar, halüsinasyonun videodaki biçimidir.

VBench, nesne sınıfı, birden çok nesne, renk, uzamsal ilişki, insan eylemi ve özne tutarlılığı boyutlarıyla bu hataları ayrı ayrı puanlar; Fréchet Inception Distance (FID) dağılım ölçütleri ailesi ise genel gerçekçiliği ölçer. İçerik denetimlerinin başlıca aracı nesne algılamadır: YOLO26 modelini oluşturulmuş bir klip üzerinde izleme modunda çalıştırmak, algılanan her nesneye kalıcı bir kimlik verir. Böylece iki köpek istemiyle oluşturulan bir klipte beş köpek kimliğinin birikmesi, öznelerin çekim sırasında kaybolup yeniden belirdiğini veya biçim değiştirdiğini gösterir.

Oluşturulan kliplerde gerçek kişiler hiç yapmadıkları şeyleri yaparken gösterilebildiğinden, metinden videoya teknolojisi deepfake'ler ve daha genel anlamda yapay zekâ etiği ile ilgili kaygıları gündeme getirir. Sağlayıcılar, tanınmış kişilerin adlarını içeren istemleri engeller, görünür filigranlar ve yapay zekâ filigranlama sinyalleri ekler ve İçerik Kimlik Bilgileri iliştirir; OpenAI Sora 2 videolarında hem hareketli görünür filigran hem de C2PA meta verileri bulunur.