Meta Movie Gen: İçerik üretimini yeniden hayal etmek

İster hevesli bir film yapımcısı ol ister kitlen için video yapmaktan hoşlanan bir içerik oluşturucu, yaratıcılığını genişleten yapay zeka araçlarına sahip olmak her zaman faydalıdır. Son zamanlarda Meta, Meta Movie Gen olarak bilinen en son üretken video modelini piyasaya sürdü.

Medya ve eğlence sektöründeki küresel generative AI market pazarının 2033 yılına kadar 11,57 milyar dolara ulaşması öngörülüyor. Runway, OpenAI ve Meta gibi şirketler çığır açan yeniliklerde öncülük ediyor. Özellikle Meta Movie Gen; film yapımı, video içerik oluşturma ve dijital hikaye anlatımı gibi uygulamalar için harika olup yüksek kaliteli, yapay zeka tarafından oluşturulan videolar aracılığıyla yaratıcı vizyonları hayata geçirmeyi her zamankinden daha kolay hale getiriyor. Bu makalede Meta Movie Gen'i ve nasıl çalıştığını inceleyeceğiz. Ayrıca bazı uygulamalarına daha yakından bakacağız. Hadi başlayalım!

Fig 1. Meta Movie Gen kullanılarak oluşturulmuş bir video klibin karesi.

Meta Movie Gen nedir?#

Meta Movie Gen'in ne olduğunu tartışmadan önce, nasıl ortaya çıktığına bir bakalım.

generative AI ile ilgili Meta araştırma çalışmaları, Make-A-Scene series model serisiyle başladı. Bu araştırma, sanatçıların ve vizyonerlerin hayal güçlerini hayata geçirmelerine yardımcı olan multimodal bir üretken yapay zeka yöntemine odaklanmaktadır. Sanatçılar, istedikleri görüntü çıktısını elde etmek için resimler, sesler, videolar veya 3D animations girebilirler. İnovasyondaki bir sonraki büyük adım, çok daha yüksek kalitede görüntü ve video oluşturmayı mümkün kılan ve görüntü düzenlemeye olanak tanıyan Llama Image Foundation modelleri (Emu) gibi diffusion models ile geldi.

Fig 2. Oluşturulmuş bir görüntü elde etmek için Make-A-Scene'in eskiz ve metin girdisini kullanma örneği.

Movie Gen, Meta'nın generative AI araştırmasına yaptığı en son katkıdır. Bahsi geçen tüm modaliteleri birleştirir ve kişilerin modelleri daha yaratıcı şekillerde kullanabilmesi için daha ince ayarlı kontrol sağlar. Meta Movie Gen; metinden videoya, metinden sese ve metinden görüntüye kadar farklı türde medyalar oluşturmak için temel modellerden oluşan bir koleksiyondur. Lisanslı ve halka açık datasets veri kümelerinin bir kombinasyonu üzerinde eğitilmiş dört modelden oluşur.

İşte bu modellere kısa bir bakış:

• Movie Gen Video modeli: Metin komutlarından yüksek kaliteli videolar oluşturan 30 milyar parametreli bir model.
• Movie Gen Audio modeli: Video içeriğiyle senkronize olan müzikler oluşturabilen 13 milyar parametreli bir model.
• Kişiselleştirilmiş Movie Gen Video modeli: Metin komutu ve tek bir resme dayanarak, kişinin benzerliğini koruyarak belirli bireylerin videolarını oluşturur.
• Movie Gen Edit modeli: Bu model, gerçek ve kurgusal videolar için ayrıntılı, metin tabanlı video düzenlemelerine olanak tanır.

Meta Movie Gen video modelinin eğitilmesi#

Movie Gen Video modelinin oluşturulması ve training sürecinde birkaç temel işlem yer aldı. İlk adım, kalite, hareket ve alaka düzeyi açısından filtrelenmiş, öncelikle insan aktivitelerine ait resimler ve video klipler dahil olmak üzere görsel verilerin toplanmasını ve preparing visual data hazırlanmasını içeriyordu. data verileri daha sonra her sahnenin içinde ne olduğunu açıklayan metin başlıklarıyla eşleştirildi. Meta’s LLaMa3-Video modeli kullanılarak oluşturulan başlıklar, her sahnenin içeriği hakkında zengin ayrıntılar sağlayarak modelin görsel hikaye anlatımı yeteneklerini geliştirdi.

Fig 3. Movie Gen Video modelinin ön eğitim veri düzenleme boru hattına genel bakış.

training süreci, modelin metni düşük çözünürlüklü görüntülere dönüştürmeyi öğrenmesiyle başladı. Daha sonra giderek yüksek kalitede görseller kullanarak text-to-image ve metinden videoya eğitim kombinasyonu aracılığıyla tam video klipleri oluşturmaya ilerledi.

Temporal Autoencoder (TAE) adı verilen bir araç, büyük veri hacimlerini verimli bir şekilde yönetmek için videoları sıkıştırdı. Fine-tuning ek ayar, video kalitesini daha da keskinleştirdi ve model ortalama adı verilen bir yöntem (daha akıcı, daha tutarlı sonuçlar için birden fazla model çıktısını birleştirir) daha yüksek çıktı tutarlılığı sağladı. Son olarak, başlangıçta 768p olan video, daha net görseller için piksel verileri ekleyerek görüntü çözünürlüğünü artıran uzamsal bir yukarı örnekleyici tekniği kullanılarak keskin bir 1080p çözünürlüğe yükseltildi. Sonuç, yüksek kaliteli, ayrıntılı video çıktıları oldu.

Meta Movie Gen yeteneklerini keşfetmek#

Meta Movie Gen modelleri öncelikle dört farklı yeteneği destekler. Gelin her birine daha yakından bakalım.

Video ve ses üretimi#

Meta Movie Gen yüksek kaliteli videolar üretebilir. Bu video klipler 16 saniyeye kadar uzunlukta olabilir ve saniyede 16 kare (fps) hızında çalışarak metin komutlarından hareketi, etkileşimleri ve camera açılarını yakalayan gerçekçi görseller oluşturabilir. 13 milyar parametreli ses modeliyle eşleştirildiğinde, görsellerle eşleşmesi için ortam sesleri, Foley efektleri ve müzik dahil olmak üzere senkronize ses üretebilir.

Bu kurulum, çeşitli sahneler ve komutlar boyunca hem görsellerin hem de sesin hizalanmış ve gerçekçi kaldığı kusursuz, gerçeğe yakın bir deneyim sağlar. Örneğin, bu modeller Moo Deng adlı Tayland'ın viral pygmy su aygırının video kliplerini oluşturmak için kullanıldı.

Fig 4. Meta'nın Movie Gen'i kullanılarak yapılan bir Moo Deng video klibinin karesi.

Kişiselleştirilmiş video üretimi#

Meta Movie Gen modelinin bir diğer ilginç yeteneği de kişiselleştirilmiş video üretimidir. Kullanıcılar bir kişinin görüntüsünü ve video klibin nasıl oluşturulması gerektiğini açıklayan bir metin komutu sağlayabilir; bu da referans kişiyi içeren ve metin komutunda belirtilen zengin görsel ayrıntıları içeren bir videoyla sonuçlanır. Model, komutta açıklanan sahneyi doğru bir şekilde takip ederken kişinin benzersiz görünümünü ve doğal body movements vücut hareketlerini korumak için her iki girdiyi de (görüntü ve metin) kullanır.

Fig 5. Modelin kişiselleştirilmiş video üretimi yeteneğine bir örnek.

Hassas video düzenleme#

Movie Gen Edit modelini kullanarak kullanıcılar, videoyu yaratıcı şekillerde düzenlemek için girdi olarak hem bir video klibi hem de bir metin komutu sağlayabilirler. Model, öğe ekleme, kaldırma veya değiştirme gibi çok özel düzenlemeler yapmak için video üretimini gelişmiş görüntü düzenleme ile birleştirir. Ayrıca, video klibin arka planını veya genel stilini değiştirmek gibi küresel değişiklikler de yapabilir. Ancak modeli gerçekten benzersiz kılan şey hassasiyetidir: sadece düzenleme gerektiren belirli pikselleri hedefleyebilir ve geri kalanını el değmemiş halde bırakabilir. Bu, orijinal içeriği mümkün olduğunca korur.

Fig 6. Movie Gen Edit modelinin video düzenleme yeteneklerinin çeşitli örnekleri.

Meta Movie Gen'in kıyaslama araçları#

generative AI modellerinin yanı sıra Meta, generative AI modellerinin performansını test etmek için bir kıyaslama araçları paketi olan Movie Gen Bench'i de tanıttı. İki ana araçla birlikte gelir: Movie Gen Video Bench ve Movie Gen Audio Bench. Her ikisi de video ve ses üretiminin farklı yönlerini test etmek için tasarlanmıştır.

İşte her iki araca kısa bir bakış:

• Movie Gen Video Bench: İnsan aktiviteleri, animals, natural scenery, physics ve sıra dışı konular ile aktiviteler gibi çok çeşitli test kategorilerini kapsayan 1003 komuttan oluşur. Bu değerlendirme kıyaslamasını özellikle değerli kılan şey, video üretim modelinin hem hızlı tempolu hem de daha yavaş sekanslar için test edilmesini sağlayan hareket seviyesi kapsamıdır.
• Movie Gen Audio Bench: 527 komut üzerinden ses üretme yeteneklerini test etmek için tasarlanmıştır. Bu komutlar, modelin ses efektlerini ve müziği görsel içerikle ne kadar iyi senkronize edebildiğini değerlendirmek için oluşturulmuş videolarla eşleştirilir.

Fig 7. Diyagram, solda kavramların bir listesi ve sağda yaygın olarak kullanılan isim ve fiillerin yer aldığı bir kelime bulutu ile değerlendirme komutlarının bir dökümünü göstermektedir.

Meta Movie Gen'in pratik bir uygulaması#

Artık Meta Movie Gen modellerinin ne olduğunu ve nasıl çalıştığını ele aldığımıza göre, pratik uygulamalarından birini keşfedelim.

Film yapımında Movie Gen yapay zeka inovasyonları#

Meta'nın Movie Gen'inin en heyecan verici kullanımlarından biri, yapay zeka destekli video ve audio creation aracılığıyla filmmaking film yapımcılığını nasıl dönüştürebileceğidir. Movie Gen ile içerik oluşturucular, basit text prompts metin komutlarından yüksek kaliteli görseller ve sesler üretebilir ve hikaye anlatmanın yeni yollarının önünü açabilir.

Aslında Meta, Blumhouse ve bir grup film yapımcısıyla güçlerini birleştirerek Movie Gen'in creative process yaratıcı süreci en iyi nasıl destekleyebileceğine dair geri bildirimlerini topladı. Aneesh Chaganty, Spurlock Sisters ve Casey Affleck gibi film yapımcıları aracın ruh halini, tonu ve görsel yönü yakalama yeteneğini test etti. Modellerin yeni fikirler ortaya çıkarmaya yardımcı olduğunu keşfettiler.

Bu pilot program, Movie Gen'in geleneksel film yapımcılığının yerini almasa da, yönetmenlere görsel ve işitsel öğelerle hızlı ve yaratıcı bir şekilde denemeler yapmaları için yeni bir yol sunduğunu gösterdi. Film yapımcıları ayrıca aracın düzenleme özelliklerinin arka plan sesleri, efektler ve görsel stillerle daha özgürce oynamalarına izin vermesini takdir ettiler.

Fig 8. Meta Movie Gen kullanılarak oluşturulmuş kısa bir filmden bir kare.

Öne çıkanlar#

Meta Movie Gen, basit metin açıklamalarından yüksek kaliteli videolar ve sesler yapmak için üretken yapay zekayı kullanma yolunda atılmış bir adımdır. Araç, kullanıcıların kolayca gerçekçi ve özel videolar oluşturmasına yardımcı olur. Hassas video düzenleme ve kişiselleştirilmiş medya üretimi gibi yetenekleriyle Meta Movie Gen, hikaye anlatımı, film yapımı ve ötesi için yeni olasılıklar açan esnek bir araç seti sunar. Ayrıntılı ve kullanışlı görseller oluşturmayı kolaylaştırarak, Meta Movie Gen videoların farklı alanlarda nasıl yapıldığını ve kullanıldığını dönüştürüyor ve yapay zeka destekli içerik üretimi için yeni bir standart belirliyor.

Daha fazla bilgi edinmek için GitHub repository adresimizi ziyaret edin ve community ile etkileşime geçin. Çözüm sayfalarımızda self-driving cars ve agriculture alanındaki yapay zeka uygulamalarını keşfedin. 🚀