Meta Movie Gen: İçerik üretimini yeniden hayal etmek

İster hevesli bir film yapımcısı ol, ister kitlen için videolar yapmaktan keyif alan bir içerik üreticisi; yaratıcılığını genişleten yapay zeka araçlarına sahip olmak her zaman işine yarar. Yakın zamanda Meta, Meta Movie Gen olarak bilinen en yeni üretken video modelini piyasaya sürdü.

Medya ve eğlence sektöründeki küresel üretken yapay zeka pazarı'nın 2033 yılına kadar 11,57 milyar dolara ulaşması öngörülüyor; Runway, OpenAI ve Meta gibi şirketler çığır açan yeniliklerde başı çekiyor. Meta Movie Gen, özellikle film yapımı, video içeriği oluşturma ve dijital hikaye anlatıcılığı gibi uygulamalar için harikadır ve yüksek kaliteli, yapay zeka tarafından oluşturulan videolar aracılığıyla yaratıcı vizyonları hayata geçirmeyi her zamankinden daha kolay hale getirir. Bu makalede, Meta Movie Gen'i ve nasıl çalıştığını keşfedeceğiz. Ayrıca bazı uygulamalarına daha yakından bakacağız. Hadi başlayalım!

Şekil 1. Meta Movie Gen kullanılarak oluşturulan bir video klibinden bir kare.

Link to this sectionMeta Movie Gen nedir?#

Meta Movie Gen'in ne olduğunu tartışmadan önce, nasıl ortaya çıktığına bir bakalım.

Meta’s research efforts related to generative AI started with their Make-A-Scene series of models. This research focuses on a multimodal generative AI method that helps artists and visionaries bring their imagination to life. Artists can input images, audio, videos, or 3D animations to get the image output that they desire. The next leap in innovation came with diffusion models like the Llama Image Foundation models (Emu), which made it possible to generate images and videos of much higher quality and enabled image editing.

Şekil 2. Make-A-Scene'in çizim ve metin girdisini kullanarak oluşturulmuş bir görüntü elde etmeye bir örnek.

Movie Gen, Meta'nın generative AI araştırmasına yaptığı en son katkıdır. Bahsedilen tüm modaliteleri birleştirir ve insanların modelleri daha yaratıcı şekillerde kullanabilmesi için daha ayrıntılı kontrol imkanı sağlar. Meta Movie Gen; metinden videoya, metinden sese ve metinden resme dahil olmak üzere farklı medya türleri oluşturmak için temel modeller koleksiyonudur. Lisanslı ve herkese açık datasets kombinasyonu ile eğitilmiş dört modelden oluşur.

İşte bu modellere kısa bir bakış:

• Movie Gen Video modeli: Metin komutlarından yüksek kaliteli videolar oluşturan 30 milyar parametreli bir model.
• Movie Gen Audio modeli: Video içeriğiyle senkronize olan müzikler oluşturabilen 13 milyar parametreli bir model.
• Kişiselleştirilmiş Movie Gen Video modeli: Metin komutu ve tek bir resme dayanarak, kişinin benzerliğini koruyarak belirli bireylerin videolarını oluşturur.
• Movie Gen Edit modeli: Bu model, gerçek ve kurgusal videolar için ayrıntılı, metin tabanlı video düzenlemelerine olanak tanır.

Link to this sectionMeta Movie Gen video modelinin eğitilmesi#

Movie Gen Video modelinin oluşturulması ve training sürecinde birçok temel işlem yer aldı. İlk adım, kalite, hareket ve alaka düzeyi için filtrelenmiş, ağırlıklı olarak insan aktivitelerinden oluşan resimler ve video klipleri dahil olmak üzere görsel verilerin toplanması ve görsel verilerin hazırlanması idi. Data, her sahnede neler olduğunu açıklayan metin altyazılarıyla eşleştirildi. Meta'nın LLaMa3-Video modeli kullanılarak oluşturulan altyazılar, her sahnenin içeriği hakkında zengin ayrıntılar sağlayarak modelin görsel hikaye anlatma yeteneklerini geliştirdi.

Şekil 3. Movie Gen Video modelinin ön eğitim veri kürasyon hattına genel bakış.

Training süreci, modelin metni düşük çözünürlüklü görüntülere dönüştürmeyi öğrenmesiyle başladı. Ardından, giderek daha yüksek kaliteli görseller kullanarak text-to-image ve metinden videoya eğitim kombinasyonu yoluyla tam video klipleri oluşturmaya ilerledi.

Temporal Autoencoder (TAE) adlı bir araç, büyük veri hacimlerini verimli bir şekilde yönetmek için videoları sıkıştırdı. Fine-tuning video kalitesini daha da keskinleştirdi ve model ortalaması adı verilen (daha pürüzsüz, daha tutarlı sonuçlar için birden fazla model çıktısını birleştirir) bir yöntem, çıktı tutarlılığını sağladı. Son olarak, başlangıçta 768p olan video, net görseller için piksel verisi ekleyerek görüntü çözünürlüğünü artıran bir uzamsal ölçek büyütme (spatial upsampler) tekniği kullanılarak keskin bir 1080p çözünürlüğe yükseltildi. Sonuç, yüksek kaliteli, ayrıntılı video çıktıları oldu.

Link to this sectionMeta Movie Gen yeteneklerini keşfetmek#

Meta Movie Gen modelleri öncelikle dört farklı yeteneği destekler. Gelin her birine daha yakından bakalım.

Link to this sectionVideo ve ses üretimi#

Meta Movie Gen yüksek kaliteli videolar oluşturabilir. Bu video klipleri 16 saniyeye kadar sürebilir ve 16 fps (saniye başına kare) hızında çalışarak, metin komutlarından hareketleri, etkileşimleri ve camera açılarını yakalayan gerçekçi görseller oluşturabilir. 13 milyar parametreli ses modeliyle eşleştirildiğinde, görsellerle eşleşecek ortam sesleri, Foley efektleri ve müzik dahil olmak üzere senkronize ses üretebilir.

Bu kurulum, hem görsellerin hem de sesin çeşitli sahneler ve komutlar boyunca hizalı ve gerçekçi kaldığı kusursuz, gerçeğe yakın bir deneyim sağlar. Örneğin, bu modeller Tayland'ın viral pygmy su aygırı Moo Deng'in video kliplerini oluşturmak için kullanıldı.

Şekil 4. Meta'nın Movie Gen'i kullanılarak yapılan bir Moo Deng video klibinden bir kare.

Link to this sectionKişiselleştirilmiş video üretimi#

Meta Movie Gen modelinin bir diğer ilginç yeteneği de kişiselleştirilmiş video üretimidir. Kullanıcılar bir kişinin resmini ve video klibin nasıl oluşturulacağını açıklayan bir metin komutu sağlayabilir; sonuç olarak referans kişiyi içeren ve metin komutunda belirtilen zengin görsel ayrıntıları birleştiren bir video elde edilir. Model, kişinin benzersiz görünümünü ve doğal body movements korurken komutta açıklanan sahneyi doğru bir şekilde takip etmek için her iki girdiyi (resim ve metin) kullanır.

Şekil 5. Modelin kişiselleştirilmiş video üretimi yeteneğine bir örnek.

Link to this sectionHassas video düzenleme#

Movie Gen Edit modelini kullanarak kullanıcılar, videoyu yaratıcı şekillerde düzenlemek için girdi olarak hem bir video klibi hem de bir metin komutu sağlayabilirler. Model, öğe ekleme, kaldırma veya değiştirme gibi çok özel düzenlemeler yapmak için video üretimini gelişmiş görüntü düzenleme ile birleştirir. Ayrıca, video klibin arka planını veya genel stilini değiştirmek gibi küresel değişiklikler de yapabilir. Ancak modeli gerçekten benzersiz kılan şey hassasiyetidir: sadece düzenleme gerektiren belirli pikselleri hedefleyebilir ve geri kalanını el değmemiş halde bırakabilir. Bu, orijinal içeriği mümkün olduğunca korur.

Şekil 6. Movie Gen Edit modelinin video düzenleme yeteneklerine dair çeşitli örnekler.

Link to this sectionMeta Movie Gen'in kıyaslama araçları#

Generative AI modelleriyle birlikte Meta, generative AI modellerinin performansını test etmek için bir kıyaslama araçları paketi olan Movie Gen Bench'i de tanıttı. İki ana araçla gelir: Movie Gen Video Bench ve Movie Gen Audio Bench. Her ikisi de video ve ses üretiminin farklı yönlerini test etmek için tasarlanmıştır.

İşte her iki araca kısa bir bakış:

• Movie Gen Video Bench: İnsan aktiviteleri, animals, natural scenery, physics gibi çok çeşitli test kategorilerinin yanı sıra sıra dışı konuları ve aktiviteleri kapsayan 1003 komuttan oluşur. Bu değerlendirme kıyaslamasını özellikle değerli kılan şey, video üretim modelinin hem hızlı tempolu hem de daha yavaş sekanslar için test edilmesini sağlayan hareket seviyeleri kapsamıdır.
• Movie Gen Audio Bench: 527 komut üzerinden ses üretme yeteneklerini test etmek için tasarlanmıştır. Bu komutlar, modelin ses efektlerini ve müziği görsel içerikle ne kadar iyi senkronize edebildiğini değerlendirmek için oluşturulmuş videolarla eşleştirilir.

Şekil 7. Diyagram, solda kavramların bir listesi ve sağda yaygın olarak kullanılan isimler ve fiillerden oluşan bir kelime bulutu ile değerlendirme komutlarının bir dökümünü göstermektedir.

Link to this sectionMeta Movie Gen'in pratik bir uygulaması#

Artık Meta Movie Gen modellerinin ne olduğunu ve nasıl çalıştığını ele aldığımıza göre, pratik uygulamalarından birini keşfedelim.

Link to this sectionFilm yapımında Movie Gen yapay zeka inovasyonları#

One of the most exciting uses of Meta's Movie Gen is how it can transform filmmaking through AI-powered video and audio creation. With Movie Gen, creators can generate high-quality visuals and sounds from simple text prompts, opening up new ways to tell stories.

Hatta Meta, Blumhouse ve bir grup film yapımcısıyla iş birliği yaparak, Movie Gen'in creative process sürecini en iyi nasıl destekleyebileceğine dair geri bildirimlerini topladı. Aneesh Chaganty, Spurlock Sisters ve Casey Affleck gibi film yapımcıları aracın ruh halini, tonu ve görsel yönetimi yakalama yeteneğini test ettiler. Modellerin taze fikirler ateşlemeye yardımcı olduğunu keşfettiler.

Bu pilot program, Movie Gen'in geleneksel film yapımcılığının yerini almasa da, yönetmenlere görsel ve işitsel öğelerle hızlı ve yaratıcı bir şekilde denemeler yapmaları için yeni bir yol sunduğunu gösterdi. Film yapımcıları ayrıca aracın düzenleme özelliklerinin arka plan sesleri, efektler ve görsel stillerle daha özgürce oynamalarına izin vermesini takdir ettiler.

Şekil 8. Meta Movie Gen kullanılarak oluşturulmuş bir kısa filmden bir kare.

Link to this sectionÖne çıkanlar#

Meta Movie Gen, basit metin açıklamalarından yüksek kaliteli videolar ve sesler yapmak için üretken yapay zekayı kullanma yolunda atılmış bir adımdır. Araç, kullanıcıların kolayca gerçekçi ve özel videolar oluşturmasına yardımcı olur. Hassas video düzenleme ve kişiselleştirilmiş medya üretimi gibi yetenekleriyle Meta Movie Gen, hikaye anlatımı, film yapımı ve ötesi için yeni olasılıklar açan esnek bir araç seti sunar. Ayrıntılı ve kullanışlı görseller oluşturmayı kolaylaştırarak, Meta Movie Gen videoların farklı alanlarda nasıl yapıldığını ve kullanıldığını dönüştürüyor ve yapay zeka destekli içerik üretimi için yeni bir standart belirliyor.

Daha fazla bilgi edinmek için GitHub depomuzu ziyaret et ve topluluğumuzla etkileşime geç. Çözüm sayfalarımızda otonom araçlar ve tarım alanındaki AI uygulamalarını keşfet. 🚀