Meta Movie Gen: İçerik oluşturmayı yeniden tasarlama

İster film yapımcısı olmayı hedefle ister izleyicilerin için video üretmeyi sev, yaratıcılığını geliştiren yapay zekâ araçlarına sahip olmak her zaman işine yarar. Meta kısa süre önce Meta Movie Gen adıyla bilinen en yeni üretken video modelini tanıttı.

Medya ve eğlence sektöründeki küresel üretken yapay zekâ pazarının 2033'e kadar 11,57 milyar dolara ulaşacağı öngörülüyor; Runway, OpenAI ve Meta gibi şirketler bu alana öncülük ediyor. Özellikle Meta Movie Gen; film yapımı, video içeriği üretimi ve dijital hikâye anlatımı gibi uygulamalarda öne çıkıyor ve yüksek kaliteli, yapay zekâ tarafından oluşturulmuş videolarla yaratıcı fikirleri hayata geçirmeyi her zamankinden kolay kılıyor. Bu yazıda Meta Movie Gen'i ve nasıl çalıştığını inceleyeceğiz. Ayrıca bazı uygulamalarına daha yakından bakacağız.

Şekil 1. Meta Movie Gen kullanılarak oluşturulan bir video klibinden kare.

Meta Movie Gen nedir?#

Meta Movie Gen'in ne olduğunu konuşmadan önce, nasıl ortaya çıktığına bakalım.

Meta'nın üretken yapay zekâ alanındaki araştırmaları, Make-A-Scene serisi modellerle başladı. Bu araştırmalar, sanatçıların ve yaratıcı kişilerin hayal güçlerini gerçeğe dönüştürmelerine yardımcı olan bir çok modlu üretken yapay zekâ yöntemine odaklanıyor. Sanatçılar, istedikleri görüntü çıktısını elde etmek için görüntü, ses, video veya 3B animasyon girebiliyor. Yenilikteki bir sonraki büyük adım, görüntü ve video kalitesini çok daha yüksek düzeyde üretmeyi ve görüntü düzenlemeyi mümkün kılan Llama Image Foundation modelleri (Emu) gibi difüzyon modelleriyle geldi.

Şekil 2. Make-A-Scene'in çizim ve metin girdisini kullanarak görsel oluşturma örneği.

Movie Gen, Meta'nın üretken yapay zekâ araştırmalarına yaptığı en son katkıdır. Daha önce bahsedilen tüm modaliteleri bir araya getirir ve insanların modelleri daha yaratıcı biçimlerde kullanabilmesi için daha ayrıntılı denetim olanağı sunar. Meta Movie Gen; metinden videoya, metinden sese ve metinden görüntüye dâhil olmak üzere farklı medya türleri üretmek için geliştirilmiş temel modellerden oluşan bir koleksiyondur. Lisanslı ve kamuya açık veri kümelerinin birleşimiyle eğitilmiş dört model içerir.

Modellere hızlıca genel bir bakış atalım:

• Movie Gen Video modeli: Metin istemlerinden yüksek kaliteli videolar oluşturan, 30 milyar parametreli bir model.
• Movie Gen Audio modeli: Video içeriğiyle senkronize ses parçaları oluşturabilen, 13 milyar parametreli bir model.
• Kişiselleştirilmiş Movie Gen Video modeli: Metin istemine ve tek bir görsele dayanarak belirli kişilerin benzerliğini koruyan videolar oluşturur.
• Movie Gen Edit modeli: Gerçek ve kurgusal videolarda metin tabanlı, ayrıntılı düzenlemeler yapılmasını sağlar.

Meta Movie Gen video modelinin eğitimi#

Movie Gen Video modelini oluşturma ve eğitme sürecinde birkaç temel aşama yer aldı. İlk aşamada, çoğunlukla insan etkinliklerini içeren ve kalite, hareket ve uygunluk açısından filtrelenen görüntüler ile video klipler toplandı ve hazırlandı. Ardından veriler, her sahnede neler olduğunu açıklayan metin başlıklarıyla eşleştirildi. Meta'nın Llama 3-Video modeliyle oluşturulan bu başlıklar, her sahnenin içeriği hakkında zengin ayrıntılar sunarak modelin görsel hikâye anlatımı becerilerini geliştirdi.

Şekil 3. Movie Gen Video modelinin ön eğitim veri derleme hattına genel bakış.

Eğitim süreci, modelin metni düşük çözünürlüklü görüntülere dönüştürmeyi öğrenmesiyle başladı. Ardından, giderek daha yüksek kaliteli görseller kullanılarak metinden görüntüye ve metinden videoya eğitimin birleşimiyle tam video klipler oluşturma aşamasına geçildi.

Temporal Autoencoder (TAE) adı verilen bir araç, büyük veri hacimlerini verimli şekilde yönetmek için videoları sıkıştırdı. İnce ayar video kalitesini daha da iyileştirdi; model ortalaması adı verilen bir yöntem (farklı verilerle, hiperparametrelerle ve kontrol noktalarıyla ince ayar yapılmış birkaç modelin ortalamasını alır) ise çıktıların daha tutarlı olmasını sağladı. Son olarak, başlangıçta 768p olan video, daha net görüntüler için piksel verisi ekleyerek görüntü çözünürlüğünü artıran uzamsal üst örnekleme tekniğiyle keskin bir 1080p çözünürlüğe yükseltildi. Sonuç, yüksek kaliteli ve ayrıntılı video çıktıları oldu.

Meta Movie Gen'in yeteneklerini keşfetmek#

Meta Movie Gen modelleri başlıca dört farklı yeteneği destekliyor. Her birine daha yakından bakalım.

Video ve ses oluşturma#

Meta Movie Gen yüksek kaliteli videolar oluşturabilir. Bu video klipler 16 saniyeye kadar sürebilir ve saniyede 16 kare (fps) hızında oynatılabilir. Metin istemlerinden hareketi, etkileşimleri ve kamera açılarını yansıtan gerçekçi görseller üretir. 13 milyar parametreli ses modeliyle birlikte kullanıldığında görsellerle eşleşen ortam sesleri, Foley efektleri ve müzik dâhil senkronize sesler oluşturabilir.

Bu yapı, farklı sahnelerde ve istemlerde görüntü ile sesin uyumlu ve gerçekçi kalmasını sağlar. Örneğin bu modeller, Tayland'da viral olan ve Moo Deng adını taşıyan cüce su aygırının video kliplerini oluşturmak için kullanıldı.

Şekil 4. Meta'nın Movie Gen'i kullanılarak oluşturulan Moo Deng video klibinden bir kare.

Kişiselleştirilmiş video oluşturma#

Meta Movie Gen modelinin bir başka ilginç özelliği de kişiselleştirilmiş video üretimidir. Kullanıcılar, bir kişinin görüntüsünü ve video klibin nasıl oluşturulacağını açıklayan bir metin istemini sağlayabilir. Böylece referans alınan kişiyi içeren ve metin isteminde belirtilen zengin görsel ayrıntıları kullanan bir video oluşturulur. Model, kişinin kendine özgü görünümünü ve doğal vücut hareketlerini korurken istemde açıklanan sahneyi doğru biçimde oluşturmak için her iki girdiden de (görüntü ve metin) yararlanır.

Şekil 5. Modelin kişiselleştirilmiş video oluşturma yeteneğine bir örnek.

Hassas video düzenleme#

Movie Gen Edit modeliyle kullanıcılar, videoyu yaratıcı biçimlerde düzenlemek için hem bir video klibi hem de metin istemini girdi olarak sağlayabilir. Model, video üretimini gelişmiş görüntü düzenlemeyle birleştirerek öğe ekleme, kaldırma veya değiştirme gibi çok belirli düzenlemeler yapar. Ayrıca video klibin arka planını veya genel tarzını değiştirmek gibi kapsamlı değişiklikler de yapabilir. Modeli farklı kılan, hassasiyetidir: yalnızca düzenlenmesi gereken belirli pikselleri hedefleyebilir ve geri kalanına dokunmaz. Böylece özgün içerik olabildiğince korunur.

Şekil 6. Movie Gen Edit modelinin video düzenleme yeteneklerinden çeşitli örnekler.

Meta Movie Gen'in kıyaslama araçları#

Meta, üretken yapay zekâ modellerinin performansını sınamak için kullanılan bir kıyaslama araçları paketi olan Movie Gen Bench'i de üretken yapay zekâ modelleriyle birlikte tanıttı. Paket, Movie Gen Video Bench ve Movie Gen Audio Bench adlı iki temel araç içeriyor. Her ikisi de video ve ses üretiminin farklı yönlerini sınamak üzere tasarlandı.

Her iki araca da kısaca göz atalım:

• Movie Gen Video Bench: İnsan etkinlikleri, hayvanlar, doğal manzaralar, fizik ve sıra dışı konu ve etkinlikler gibi çok çeşitli test kategorilerini kapsayan 1.003 istemden oluşur. Bu değerlendirme kıyaslamasını özellikle değerli kılan, farklı hareket düzeylerini kapsamasıdır; böylece video üretim modeli hem hızlı hem de daha yavaş sekanslarda sınanır.
• Movie Gen Audio Bench: 527 istem üzerinden ses oluşturma yeteneklerini sınamak için tasarlanmıştır. Modelin ses efektlerini ve müziği görsel içerikle ne kadar iyi senkronize edebildiğini değerlendirmek için bu istemler oluşturulan videolarla eşleştirilir.

Şekil 7. Şemada, değerlendirme istemlerinin dağılımı gösteriliyor; solda kavramların listesi, sağda ise sık kullanılan isim ve fiillerden oluşan bir kelime bulutu yer alıyor.

Meta Movie Gen'in pratik bir uygulaması#

Meta Movie Gen modellerinin ne olduğunu ve nasıl çalıştığını ele aldığımıza göre, pratik uygulamalarından birini inceleyelim.

Film yapımında Movie Gen yapay zeka yenilikleri#

Meta'nın Movie Gen modelinin en heyecan verici kullanım alanlarından biri, yapay zekâ destekli video ve ses üretimiyle film yapımını dönüştürebilmesidir. Movie Gen sayesinde içerik üreticileri basit metin istemlerinden yüksek kaliteli görüntüler ve sesler oluşturabilir, böylece hikâye anlatımı için yeni yollar açılır.

Meta, Movie Gen'in yaratıcı süreci en iyi nasıl destekleyebileceğine dair geri bildirimlerini almak için Blumhouse ve bir grup film yapımcısıyla iş birliği yaptı. Aneesh Chaganty, Spurlock Sisters ve Casey Affleck gibi film yapımcıları, aracın ruh hâlini, tonu ve görsel yönelimi yansıtma becerisini sınadı. Modellerin yeni fikirlerin kıvılcımını çakmaya yardımcı olduğunu gördüler.

Bu pilot program, Movie Gen'in geleneksel film yapımının yerini almasa da yönetmenlere görsel ve ses öğelerini hızlı ve yaratıcı biçimde denemeleri için yeni bir yol sunduğunu gösterdi. Film yapımcıları ayrıca aracın düzenleme özelliklerinin arka plan sesleri, efektler ve görsel tarzlarla daha özgürce oynamalarına olanak tanımasını takdir etti.

Şekil 8. Meta Movie Gen kullanılarak oluşturulan kısa filmden bir kare.

Önemli çıkarımlar#

Meta Movie Gen, basit metin açıklamalarından yüksek kaliteli video ve ses üretmek için üretken yapay zekâ kullanımında ileriye doğru atılmış bir adımdır. Araç, kullanıcıların gerçekçi ve kişiye özel videoları kolayca oluşturmasına yardımcı olur. Hassas video düzenleme ve kişiselleştirilmiş medya üretimi gibi yetenekleriyle Meta Movie Gen; hikâye anlatımı, film yapımı ve daha birçok alanda yeni olanaklar sunan esnek bir araç seti sağlar. Ayrıntılı ve kullanışlı görseller üretmeyi kolaylaştırarak farklı alanlarda videoların yapılış ve kullanılış biçimini değiştiriyor.

Daha fazla bilgi edinmek için GitHub depomuzu ziyaret et ve topluluğumuza katıl. Çözümler sayfalarımızda otonom araçlardaki ve tarımdaki yapay zekâ uygulamalarını keşfet.