Meta Movie Gen: İçerik oluşturmayı yeniden tasarlama

İster sinema alanında kendini geliştirmeye çalışan bir film yapımcısı ister kitlen için video hazırlamaktan hoşlanan bir içerik üreticisi ol, yaratıcılığını genişleten yapay zekâ araçlarına sahip olmak her zaman faydalıdır. Yakın zamanda Meta, Meta Movie Gen olarak bilinen en yeni üretken video modelini kullanıma sundu.

Medya ve eğlence sektöründeki küresel üretken yapay zekâ pazarı büyüklüğünün 2033'e kadar 11,57 milyar dolara ulaşacağı öngörülüyor; Runway, OpenAI ve Meta gibi şirketler çığır açan yeniliklere öncülük ediyor. Özellikle Meta Movie Gen; film yapımı, video içeriği oluşturma ve dijital hikâye anlatımı gibi uygulamalar için oldukça kullanışlıdır. Yüksek kaliteli, yapay zekâ tarafından oluşturulan videolarla yaratıcı fikirleri hayata geçirmeyi her zamankinden daha kolay hâle getirir. Bu makalede Meta Movie Gen'i ve nasıl çalıştığını inceleyeceğiz. Ayrıca bazı uygulamalarına daha yakından bakacağız. Hadi başlayalım!

Şekil 1. Meta Movie Gen kullanılarak oluşturulan bir video klibinden kare.

Meta Movie Gen nedir?#

Meta Movie Gen'in ne olduğunu ele almadan önce, nasıl ortaya çıktığına bakalım.

Meta'nın üretken yapay zekâ alanındaki araştırma çalışmaları, Make-A-Scene serisi modelleriyle başladı. Bu araştırma, sanatçıların ve yaratıcı kişilerin hayal güçlerini gerçeğe dönüştürmelerine yardımcı olan çok modlu bir üretken yapay zekâ yöntemine odaklanıyor. Sanatçılar, istedikleri görüntü çıktısını elde etmek için görseller, sesler, videolar veya 3D animasyonlar girebilir. Yenilikteki bir sonraki büyük adım, Llama Image Foundation modelleri (Emu) gibi difüzyon modelleri ile geldi. Bu modeller, çok daha yüksek kaliteli görüntü ve videolar oluşturmayı ve görüntüleri düzenlemeyi mümkün kıldı.

Şekil 2. Oluşturulmuş bir görüntü elde etmek için Make-A-Scene'in taslak ve metin girdisinin kullanılmasına örnek.

Movie Gen, Meta'nın üretken yapay zekâ araştırmalarına yaptığı en son katkıdır. Daha önce bahsedilen tüm modaliteleri bir araya getirir ve daha ayrıntılı bir kontrol sağlayarak insanların modelleri daha yaratıcı şekillerde kullanmasına olanak tanır. Meta Movie Gen; metinden videoya, metinden sese ve metinden görüntüye dâhil olmak üzere farklı medya türleri oluşturmak için kullanılan temel modellerden oluşan bir koleksiyondur. Lisanslı ve herkese açık veri kümelerinin bir arada kullanılmasıyla eğitilmiş dört model içerir.

Bu modellere hızlıca göz atalım:

• Movie Gen Video modeli: Metin istemlerinden yüksek kaliteli videolar oluşturan, 30 milyar parametreli bir model.
• Movie Gen Audio modeli: Video içeriğiyle senkronize olan müzikleri oluşturabilen, 13 milyar parametreli bir model.
• Kişiselleştirilmiş Movie Gen Video modeli: Bir metin istemine ve tek bir görüntüye dayanarak belirli kişilerin videolarını oluşturur ve bu kişilerin benzerliğini korur.
• Movie Gen Edit modeli: Gerçek ve kurgusal videolar üzerinde ayrıntılı, metin tabanlı video düzenlemeleri yapılmasına olanak tanır.

Meta Movie Gen video modelinin eğitimi#

Movie Gen Video modelinin oluşturulması ve eğitilmesi sürecinde birkaç önemli işlem gerçekleştirildi. İlk adımda, çoğunlukla kalite, hareket ve uygunluk açısından filtrelenmiş insan etkinliklerine ait görüntüler ve video klipleri de dâhil olmak üzere görsel veriler toplandı ve hazırlandı. Ardından veriler, her sahnede neler olduğunu açıklayan metin açıklamalarıyla eşleştirildi. Meta'nın LLaMa3-Video modeli kullanılarak oluşturulan açıklamalar, her sahnenin içeriği hakkında zengin ayrıntılar sağlayarak modelin görsel hikâye anlatma yeteneklerini geliştirdi.

Şekil 3. Movie Gen Video modelinin ön eğitim verilerini derleme işlem hattına genel bakış.

Eğitim süreci, modelin metni düşük çözünürlüklü görüntülere dönüştürmeyi öğrenmesiyle başladı. Ardından, giderek daha yüksek kaliteli görseller kullanılarak metinden görüntüye ve metinden videoya eğitiminin bir arada uygulanmasıyla tam video klipleri oluşturma aşamasına geçildi.

Temporal Autoencoder (TAE) adı verilen bir araç, büyük miktarlardaki veriyi verimli bir şekilde yönetmek için videoları sıkıştırdı. İnce ayar video kalitesini daha da artırdı ve model ortalaması adı verilen bir yöntem (daha akıcı ve tutarlı sonuçlar için birden çok model çıktısını birleştirir) çıktıların daha tutarlı olmasını sağladı. Son olarak başlangıçta 768p olan video, daha net görseller için piksel verileri ekleyerek görüntü çözünürlüğünü artıran uzamsal üst örnekleme tekniği kullanılarak keskin 1080p çözünürlüğe yükseltildi. Sonuç, yüksek kaliteli ve ayrıntılı video çıktıları oldu.

Meta Movie Gen'in yeteneklerini keşfetmek#

Meta Movie Gen modelleri temel olarak dört farklı yeteneği destekler. Her birine daha yakından bakalım.

Video ve ses oluşturma#

Meta Movie Gen, yüksek kaliteli videolar oluşturabilir. Bu video klipleri 16 saniyeye kadar uzunlukta olabilir ve 16 fps (saniyedeki kare) hızında çalışabilir. Böylece metin istemlerinden hareketi, etkileşimleri ve kamera açılarını yakalayan gerçekçi görseller oluşturulur. 13 milyar parametreli ses modeliyle birlikte kullanıldığında görsellerle eşleşen ortam sesleri, Foley efektleri ve müzik dâhil olmak üzere senkronize ses üretebilir.

Bu kurulum, çeşitli sahnelerde ve istemlerde hem görsellerin hem de sesin uyumlu ve gerçekçi kalmasını sağlayarak kusursuz, gerçeğe yakın bir deneyim sunar. Örneğin bu modeller, Tayland'ın Moo Deng adlı viral cüce su aygırının video kliplerini oluşturmak için kullanıldı.

Şekil 4. Meta'nın Movie Gen'i kullanılarak oluşturulan Moo Deng video klibinden kare.

Kişiselleştirilmiş video oluşturma#

Meta Movie Gen modelinin bir diğer ilgi çekici yeteneği, kişiselleştirilmiş video oluşturmaktır. Kullanıcılar bir kişinin görüntüsünü ve video klibinin nasıl oluşturulması gerektiğini açıklayan bir metin istemini sağlayabilir. Bunun sonucunda referans kişiyi içeren ve metin isteminde belirtilen zengin görsel ayrıntıları barındıran bir video elde edilir. Model, kişinin benzersiz görünümünü ve doğal vücut hareketlerini korurken istemde açıklanan sahneyi doğru şekilde takip etmek için her iki girdiyi de (görüntü ve metin) kullanır.

Şekil 5. Modelin kişiselleştirilmiş video oluşturma yeteneğine örnek.

Hassas video düzenleme#

Movie Gen Edit modelini kullanarak kullanıcılar, videoyu yaratıcı şekillerde düzenlemek için hem bir video klibini hem de metin istemini girdi olarak sağlayabilir. Model, ekleme, kaldırma veya öğeleri değiştirme gibi çok özel düzenlemeler gerçekleştirmek için video oluşturmayı gelişmiş görüntü düzenlemeyle birleştirir. Ayrıca video klibinin arka planını veya genel stilini değiştirmek gibi genel değişiklikler de yapabilir. Ancak modeli gerçekten benzersiz kılan özelliği hassasiyetidir: Yalnızca düzenlenmesi gereken belirli pikselleri hedefleyebilir ve geri kalanına dokunmadan bırakabilir. Bu sayede özgün içerik mümkün olduğunca korunur.

Şekil 6. Movie Gen Edit modelinin video düzenleme yeteneklerine çeşitli örnekler.

Meta Movie Gen'in kıyaslama araçları#

Meta, üretken yapay zekâ modellerinin yanı sıra üretken yapay zekâ modellerinin performansını test etmeye yönelik bir kıyaslama araçları paketi olan Movie Gen Bench'i de tanıttı. Paket iki ana araç içerir: Movie Gen Video Bench ve Movie Gen Audio Bench. Her ikisi de video ve ses oluşturmanın farklı yönlerini test etmek üzere tasarlanmıştır.

Her iki araca da kısaca göz atalım:

• Movie Gen Video Bench: İnsan etkinlikleri, hayvanlar, doğal manzaralar, fizik ve sıra dışı konu ve etkinlikler gibi çok çeşitli test kategorilerini kapsayan 1003 istemden oluşur. Bu değerlendirme kıyaslamasını özellikle değerli kılan nokta, hareket düzeylerini kapsamasıdır. Böylece video oluşturma modeli hem hızlı tempolu hem de daha yavaş sekanslar açısından test edilir.
• Movie Gen Audio Bench: Ses oluşturma yeteneklerini 527 istem üzerinden test etmek üzere tasarlanmıştır. Bu istemler, modelin ses efektlerini ve müziği görsel içerikle ne kadar iyi senkronize edebildiğini değerlendirmek için oluşturulan videolarla eşleştirilir.

Şekil 7. Diyagram, solda kavramların listesini ve sağda yaygın olarak kullanılan isim ve fiillerin kelime bulutunu göstererek değerlendirme istemlerinin dağılımını sunar.

Meta Movie Gen'in pratik bir uygulaması#

Meta Movie Gen modellerinin ne olduğunu ve nasıl çalıştığını ele aldığımıza göre, şimdi pratik uygulamalarından birini inceleyelim.

Film yapımında Movie Gen yapay zekâ yenilikleri#

Meta'nın Movie Gen'inin en heyecan verici kullanım alanlarından biri, yapay zekâ destekli video ve ses oluşturma yoluyla film yapımını dönüştürebilmesidir. Movie Gen ile içerik üreticileri basit metin istemlerinden yüksek kaliteli görseller ve sesler oluşturabilir, böylece hikâye anlatımı için yeni yollar açabilir.

Meta, Movie Gen'in yaratıcı süreci en iyi şekilde nasıl destekleyebileceğine ilişkin geri bildirim toplamak için Blumhouse ve bir grup film yapımcısıyla iş birliği yaptı. Aneesh Chaganty, Spurlock Sisters ve Casey Affleck gibi film yapımcıları, aracın ruh hâlini, tonu ve görsel yönlendirmeyi yakalama yeteneğini test etti. Modellerin yeni fikirlerin ortaya çıkmasına yardımcı olduğunu keşfettiler.

Bu pilot program, Movie Gen'in geleneksel film yapımının yerini almadığını, ancak yönetmenlere görsel ve ses unsurlarıyla hızlı ve yaratıcı bir şekilde denemeler yapmaları için yeni bir yol sunduğunu gösterdi. Film yapımcıları ayrıca aracın düzenleme özelliklerinin arka plan sesleri, efektler ve görsel stiller üzerinde daha özgürce oynamalarına olanak tanımasını takdir etti.

Şekil 8. Meta Movie Gen kullanılarak oluşturulan kısa filmden bir kare.

Önemli çıkarımlar#

Meta Movie Gen, basit metin açıklamalarından yüksek kaliteli videolar ve sesler oluşturmak için üretken yapay zekânın kullanımında ileriye doğru atılmış bir adımdır. Bu araç, kullanıcıların kolayca gerçekçi ve özelleştirilmiş videolar oluşturmasına yardımcı olur. Hassas video düzenleme ve kişiselleştirilmiş medya oluşturma gibi yetenekleriyle Meta Movie Gen; hikâye anlatımı, film yapımı ve daha fazlası için yeni olanaklar sunan esnek bir araç seti sağlar. Ayrıntılı ve kullanışlı görseller oluşturmayı kolaylaştıran Meta Movie Gen, videoların farklı alanlarda nasıl üretildiğini ve kullanıldığını dönüştürüyor ve yapay zekâ destekli içerik oluşturma için yeni bir standart belirliyor.

Daha fazla bilgi edinmek için GitHub depomuzu ziyaret et ve topluluğumuzla etkileşim kur. Çözümler sayfalarımızda otonom araçlar ve tarım alanlarındaki AI uygulamalarını keşfet. 🚀