Meta Movie Gen: İçerik oluşturmayı yeniden tasarlama

İster hevesli bir film yapımcısı, ister kitleniz için video çekmekten hoşlanan bir içerik oluşturucu olun, yaratıcılığınızı genişleten yapay zeka araçlarına sahip olmak her zaman yardımcı olur. Son zamanlarda, Meta, Meta Movie Gen olarak bilinen en son üretken video modelini piyasaya sürdü. 

Medya ve eğlence sektöründeki küresel üretken yapay zeka pazarı'nın 2033 yılına kadar 11,57 milyar dolara ulaşması bekleniyor ve Runway, OpenAI ve Meta gibi şirketler çığır açan yeniliklere öncülük ediyor. Özellikle Meta Movie Gen, film yapımı, video içeriği oluşturma ve dijital hikaye anlatımı gibi uygulamalar için harika olup, yaratıcı vizyonları yüksek kaliteli, yapay zeka tarafından oluşturulan videolar aracılığıyla hayata geçirmeyi her zamankinden daha kolay hale getiriyor. Bu makalede, Meta Movie Gen'i ve nasıl çalıştığını inceleyeceğiz. Ayrıca bazı uygulamalarına daha yakından bakacağız. Haydi başlayalım!

‍

Meta Movie Gen nedir?

Meta Movie Gen'in ne olduğunu tartışmadan önce, nasıl ortaya çıktığına bir göz atalım. 

Meta'nın üretken yapay zeka ile ilgili araştırma çabaları, Make-A-Scene serisi modelleriyle başladı. Bu araştırma, sanatçıların ve vizyonerlerin hayallerini hayata geçirmelerine yardımcı olan çok modlu üretken bir yapay zeka yöntemine odaklanmaktadır. Sanatçılar, istedikleri görüntü çıktısını elde etmek için resimler, sesler, videolar veya 3D animasyonlar girebilirler. İnovasyondaki bir sonraki sıçrama, Llama Image Foundation modelleri (Emu) gibi difüzyon modelleri ile geldi ve bu da çok daha yüksek kalitede resim ve video oluşturmayı ve görüntü düzenlemeyi mümkün kıldı.

‍

Movie Gen, Meta'nın üretken yapay zeka araştırmalarına yaptığı en son katkıdır. Daha önce bahsedilen tüm yöntemleri birleştirir ve insanların modelleri daha yaratıcı yollarla kullanabilmeleri için daha ayrıntılı kontrol sağlar. Meta Movie Gen, metinden videoya, metinden sese ve metinden görüntüye dahil olmak üzere farklı medya türleri oluşturmaya yönelik temel modellerden oluşan bir koleksiyondur. Lisanslı ve kamuya açık veri kümelerinin bir kombinasyonu üzerinde eğitilmiş dört modelden oluşur. 

İşte bu modellere dair hızlı bir genel bakış:

• Movie Gen Video modeli: Metin istemlerinden yüksek kaliteli videolar üreten 30 milyar parametreli bir modeldir.
  ‍
• Movie Gen Audio modeli: Video içeriğiyle senkronize olan müzikler oluşturabilen 13 milyar parametreli bir modeldir.
  ‍
• Kişiselleştirilmiş Film Üretim Video modeli: Bir metin istemi ve tek bir görüntüye dayanarak belirli kişilerin videolarını oluşturur ve onların benzerliğini korur. 
  ‍
• Movie Gen Edit modeli: Model, gerçek ve kurgusal videolar için ayrıntılı, metin tabanlı video düzenlemelerine olanak tanır. 

Meta Movie Gen video modelini eğitme

Movie Gen Video modelinin oluşturulması ve eğitilmesinde çeşitli temel süreçler yer almıştır. İlk adım, öncelikle kalite, hareket ve alaka düzeyi için filtrelenmiş insan aktivitelerinin görüntüleri ve video klipleri dahil olmak üzere görsel verilerin toplanması ve hazırlanmasını içeriyordu. Daha sonra veriler, her sahne içinde neler olup bittiğini açıklayan metin başlıklarıyla eşleştirildi. Meta'nın LLaMa3-Video modeli kullanılarak oluşturulan başlıklar, her sahnenin içeriği hakkında zengin ayrıntılar sağlayarak modelin görsel hikaye anlatma yeteneklerini geliştirdi.

‍

Eğitim süreci, modelin önce metni düşük çözünürlüklü görüntülere dönüştürmeyi öğrenmesiyle başladı. Daha sonra, giderek daha yüksek kaliteli görseller kullanarak metinden görüntüye ve metinden videoya eğitiminin bir kombinasyonu yoluyla tam video klipleri oluşturmaya doğru ilerledi. 

Temporal Autoencoder (TAE) adlı bir araç, büyük miktarlardaki veriyi verimli bir şekilde yönetmek için videoları sıkıştırdı. İnce ayar, video kalitesini daha da keskinleştirdi ve model ortalaması (daha pürüzsüz, daha tutarlı sonuçlar için birden fazla model çıktısını birleştirir) adı verilen bir yöntem, daha fazla çıktı tutarlılığı sağladı. Son olarak, başlangıçta 768p olan video, daha net görseller için piksel verileri ekleyerek görüntü çözünürlüğünü artıran bir uzamsal yükseltici tekniği kullanılarak keskin bir 1080p çözünürlüğe yükseltildi. Sonuç, yüksek kaliteli, ayrıntılı video çıktıları oldu.

Meta Movie Gen yeteneklerini keşfetme

Meta Movie Gen modelleri öncelikle dört farklı yeteneği desteklemektedir. Şimdi bunlara daha yakından bakalım.

Video ve ses üretimi

Meta Movie Gen, yüksek kaliteli videolar oluşturabilir. Bu video klipleri 16 saniyeye kadar uzunlukta olabilir ve saniyede 16 kare (fps) hızında çalışarak, metin istemlerinden hareket, etkileşimler ve kamera açılarını yakalayan gerçekçi görseller oluşturur. 13 milyar parametreli ses modeliyle eşleştirildiğinde, görsellerle eşleşecek ortam sesleri, Foley efektleri ve müzik dahil olmak üzere senkronize ses üretebilir. 

Bu kurulum, hem görsellerin hem de sesin çeşitli sahnelerde ve istemlerde uyumlu ve gerçekçi kalmasını sağlayarak kusursuz, gerçekçi bir deneyim sağlar. Örneğin, bu modeller Tayland'ın viral pigme su aygırının Moo Deng adlı video kliplerini oluşturmak için kullanıldı.

‍

Kişiselleştirilmiş video oluşturma

Meta Movie Gen modelinin bir diğer ilginç özelliği de kişiselleştirilmiş video oluşturmadır. Kullanıcılar, bir kişinin resmini ve video klibinin nasıl oluşturulması gerektiğini açıklayan bir metin istemi sağlayabilir ve sonuç olarak referans kişiyi içeren ve metin isteminde belirtilen zengin görsel ayrıntıları içeren bir video elde edebilir. Model, kişinin benzersiz görünümünü ve doğal vücut hareketlerini korurken, istemde açıklanan sahneyi doğru bir şekilde takip etmek için her iki girdiyi (resim ve metin) kullanır.

‍

Hassas video düzenleme 

Movie Gen Edit modelini kullanan kullanıcılar, videoyu yaratıcı şekillerde düzenlemek için hem bir video klibi hem de bir metin istemi sağlayabilir. Model, çok özel düzenlemeler yapmak için video oluşturmayı gelişmiş görüntü düzenleme ile birleştirir; örneğin, öğeler ekleme, çıkarma veya değiştirme. Ayrıca video klibinin arka planını veya genel stilini değiştirme gibi genel değişiklikler de yapabilir. Ancak modeli gerçekten benzersiz kılan şey, hassasiyetidir: yalnızca düzenlenmesi gereken belirli pikselleri hedefleyebilir ve geri kalanına dokunmaz. Bu, orijinal içeriği olabildiğince korur. 

‍

Meta Movie Gen'in kıyaslama araçları

Üretken yapay zeka modellerinin yanı sıra Meta, üretken yapay zeka modellerinin performansını test etmek için bir dizi kıyaslama aracı olan Movie Gen Bench'i de tanıttı. İki ana araçla birlikte gelir: Movie Gen Video Bench ve Movie Gen Audio Bench. Her ikisi de video ve ses üretiminin farklı yönlerini test etmek için tasarlanmıştır.

İşte her iki araca da bir bakış:

• Movie Gen Video Bench: İnsan aktiviteleri, hayvanlar, doğal manzaralar, fizik gibi çok çeşitli test kategorilerini ve ayrıca sıra dışı konuları ve aktiviteleri kapsayan 1003 istemden oluşur. Bu değerlendirme ölçütünü özellikle değerli kılan şey, video oluşturma modelinin hem hızlı hem de daha yavaş diziler için test edilmesini sağlayan hareket seviyelerini kapsamasıdır.
  ‍
• Movie Gen Audio Bench: 527 istem genelinde ses üretimi yeteneklerini test etmek için tasarlanmıştır. Bu istemler, modelin ses efektlerini ve müziği görsel içerikle ne kadar iyi senkronize edebildiğini değerlendirmek için oluşturulan videolarla eşleştirilir.

‍

Meta Movie Gen'in pratik bir uygulaması

Meta Movie Gen modellerinin ne olduğunu ve nasıl çalıştığını ele aldığımıza göre, pratik uygulamalarından birini keşfedelim. 

Film yapımında Film Gen AI yenilikleri

Meta'nın Movie Gen'inin en heyecan verici kullanımlarından biri, yapay zeka destekli video ve ses oluşturma yoluyla film yapımını nasıl dönüştürebileceğidir. Movie Gen ile içerik oluşturucular, basit metin istemlerinden yüksek kaliteli görseller ve sesler oluşturabilir ve hikaye anlatmanın yeni yollarını açabilir. 

Hatta Meta, Blumhouse ve bir grup film yapımcısıyla işbirliği yaparak, Movie Gen'in yaratıcı süreci en iyi nasıl destekleyebileceği konusunda geri bildirimlerini topladı. Aneesh Chaganty, Spurlock Sisters ve Casey Affleck gibi film yapımcıları, aracın ruh halini, tonu ve görsel yönü yakalama yeteneğini test etti. Modellerin yeni fikirler ortaya çıkarmaya yardımcı olduğunu keşfettiler.

Bu pilot program, Movie Gen'in geleneksel film yapımının yerini almamasına rağmen, yönetmenlere görsel ve işitsel öğelerle hızlı ve yaratıcı bir şekilde denemeler yapmaları için yeni bir yol sunduğunu göstermiştir. Film yapımcıları ayrıca, aracın düzenleme özelliklerinin arka plan sesleri, efektler ve görsel stillerle daha özgürce oynamalarına olanak sağlamasını da takdir ettiler. 

‍

Önemli çıkarımlar

Meta Movie Gen, basit metin açıklamalarından yüksek kaliteli videolar ve sesler yapmak için üretken yapay zekayı kullanmada bir adım öne çıkıyor. Araç, kullanıcıların gerçekçi ve özel videoları kolayca oluşturmasına yardımcı olur. Hassas video düzenleme ve kişiselleştirilmiş medya oluşturma gibi özellikleriyle Meta Movie Gen, hikaye anlatımı, film yapımı ve ötesi için yeni olanaklar açan esnek bir araç seti sunar. Ayrıntılı ve kullanışlı görseller oluşturmayı kolaylaştırarak Meta Movie Gen, videoların farklı alanlarda nasıl yapıldığını ve kullanıldığını dönüştürüyor ve yapay zeka odaklı içerik oluşturma için yeni bir standart belirliyor.

Daha fazla bilgi edinmek için GitHub depomuzu ziyaret edin ve topluluğumuzla etkileşim kurun. Çözüm sayfalarımızda otonom sürüşlü arabalardaki ve tarımdaki yapay zeka uygulamalarını keşfedin. 🚀