Meta Movie Gen: Tái định nghĩa việc sáng tạo nội dung

Dù bạn là một nhà làm phim đầy tham vọng hay một nhà sáng tạo nội dung thích làm video cho khán giả của mình, việc có các công cụ AI giúp mở rộng sự sáng tạo luôn rất hữu ích. Gần đây, Meta đã ra mắt mô hình tạo sinh video mới nhất của mình, được gọi là Meta Movie Gen.

Thị trường AI tạo sinh toàn cầu trong lĩnh vực truyền thông và giải trí dự kiến sẽ đạt 11,57 tỷ USD vào năm 2033, với các công ty như Runway, OpenAI và Meta dẫn đầu trong các đổi mới mang tính đột phá. Cụ thể, Meta Movie Gen rất tuyệt vời cho các ứng dụng như làm phim, sáng tạo nội dung video và kể chuyện kỹ thuật số, giúp việc hiện thực hóa tầm nhìn sáng tạo thông qua các video do AI tạo ra chất lượng cao trở nên dễ dàng hơn bao giờ hết. Trong bài viết này, chúng ta sẽ khám phá Meta Movie Gen và cách thức hoạt động của nó. Chúng ta cũng sẽ xem xét kỹ hơn một số ứng dụng của nó. Hãy cùng bắt đầu nhé!

Hình 1. Một khung hình của đoạn video được tạo bằng Meta Movie Gen.

Meta Movie Gen là gì?#

Trước khi thảo luận về Meta Movie Gen là gì, hãy cùng xem xét quá trình hình thành của nó.

Các nỗ lực nghiên cứu của Meta liên quan đến AI tạo sinh bắt đầu với dòng mô hình Make-A-Scene của họ. Nghiên cứu này tập trung vào phương pháp AI tạo sinh đa phương thức giúp các nghệ sĩ và nhà sáng tạo hiện thực hóa trí tưởng tượng của họ. Các nghệ sĩ có thể nhập hình ảnh, âm thanh, video hoặc hoạt ảnh 3D để có được đầu ra hình ảnh mong muốn. Bước nhảy vọt tiếp theo trong đổi mới đến với các mô hình khuếch tán như các mô hình Llama Image Foundation (Emu), giúp tạo ra hình ảnh và video có chất lượng cao hơn nhiều đồng thời cho phép chỉnh sửa hình ảnh.

Hình 2. Một ví dụ về việc sử dụng bản phác thảo và đầu vào văn bản của Make-A-Scene để nhận được hình ảnh được tạo.

Movie Gen là đóng góp mới nhất của Meta cho nghiên cứu AI tạo sinh. Nó kết hợp tất cả các phương thức đã đề cập trước đó và cho phép kiểm soát chi tiết hơn để mọi người có thể sử dụng các mô hình theo những cách sáng tạo hơn. Meta Movie Gen là một tập hợp các mô hình nền tảng để tạo ra các loại phương tiện khác nhau, bao gồm văn bản thành video, văn bản thành âm thanh và văn bản thành hình ảnh. Nó bao gồm bốn mô hình, được huấn luyện trên sự kết hợp của các tập dữ liệu được cấp phép và có sẵn công khai.

Dưới đây là tổng quan nhanh về các mô hình này:

• Mô hình Movie Gen Video: Một mô hình 30 tỷ tham số tạo ra các video chất lượng cao từ các câu lệnh văn bản.
• Mô hình Movie Gen Audio: Một mô hình 13 tỷ tham số có thể tạo ra các bản nhạc đồng bộ với nội dung video.
• Mô hình Personalized Movie Gen Video: Mô hình này tạo ra các video về những cá nhân cụ thể dựa trên câu lệnh văn bản và một hình ảnh duy nhất, giữ nguyên đặc điểm nhận dạng của họ.
• Mô hình Movie Gen Edit: Mô hình này cho phép chỉnh sửa video dựa trên văn bản một cách chi tiết cho cả video thực và video giả tưởng.

Huấn luyện mô hình video Meta Movie Gen#

Một số quy trình quan trọng đã tham gia vào việc tạo và huấn luyện mô hình Movie Gen Video. Bước đầu tiên liên quan đến việc thu thập và chuẩn bị dữ liệu trực quan, bao gồm hình ảnh và các đoạn video, chủ yếu về các hoạt động của con người được lọc theo chất lượng, chuyển động và mức độ liên quan. Dữ liệu sau đó được ghép nối với các chú thích văn bản giải thích những gì đang diễn ra trong mỗi cảnh. Các chú thích, được tạo bằng mô hình Meta LLaMa3-Video, cung cấp thông tin chi tiết phong phú về nội dung của từng cảnh, nâng cao khả năng kể chuyện bằng hình ảnh của mô hình.

Hình 3. Tổng quan về đường ống tuyển chọn dữ liệu tiền huấn luyện của mô hình Movie Gen Video.

Quá trình huấn luyện bắt đầu với việc mô hình học cách chuyển đổi văn bản thành hình ảnh độ phân giải thấp. Sau đó, nó tiến9 tới việc tạo các đoạn video đầy đủ thông qua sự kết hợp giữa huấn luyện văn bản thành hình ảnh và văn bản thành video, sử dụng hình ảnh trực quan có chất lượng ngày càng cao.

Một công cụ gọi là Temporal Autoencoder (TAE) đã nén các video để quản lý khối lượng dữ liệu lớn một cách hiệu quả. Tinh chỉnh giúp nâng cao thêm chất lượng video và một phương pháp gọi là lấy trung bình mô hình (kết hợp nhiều đầu ra mô hình để có kết quả mượt mà và nhất quán hơn) đảm bảo tính nhất quán của đầu ra lớn hơn. Cuối cùng, video, ban đầu ở độ phân giải 768p, được nâng cấp lên độ phân giải 1080p sắc nét bằng kỹ thuật spatial upsampler, giúp tăng độ phân giải hình ảnh bằng cách thêm dữ liệu điểm ảnh để hình ảnh rõ ràng hơn. Kết quả là các đầu ra video chi tiết, chất lượng cao.

Khám phá các khả năng của Meta Movie Gen#

Các mô hình Meta Movie Gen chủ yếu hỗ trợ bốn khả năng khác nhau. Hãy cùng xem xét kỹ hơn từng khả năng.

Tạo video và âm thanh#

Meta Movie Gen có thể tạo ra các video chất lượng cao. Các đoạn video này có thể dài tới 16 giây và chạy ở tốc độ 16 khung hình/giây (fps), tạo ra hình ảnh trực quan thực tế ghi lại chuyển động, tương tác và các góc máy quay từ các câu lệnh văn bản. Kết hợp với mô hình âm thanh 13 tỷ tham số, nó có thể tạo ra âm thanh được đồng bộ hóa, bao gồm âm thanh xung quanh, hiệu ứng Foley và âm nhạc, để khớp với hình ảnh.

Thiết lập này đảm bảo trải nghiệm liền mạch, chân thực, nơi cả hình ảnh và âm thanh đều được giữ đồng bộ và thực tế trên các cảnh và câu lệnh khác nhau. Ví dụ, các mô hình này đã được sử dụng để tạo các đoạn video về chú hà mã lùn lan truyền trên mạng của Thái Lan, tên là Moo Deng.

Hình 4. Một khung hình của đoạn video về Moo Deng được tạo bằng Meta Movie Gen.

Tạo video cá nhân hóa#

Một tính năng thú vị khác của mô hình Meta Movie Gen là tạo video cá nhân hóa. Người dùng có thể cung cấp hình ảnh của một người và câu lệnh văn bản mô tả cách đoạn video nên được tạo, dẫn đến một video bao gồm người tham chiếu và kết hợp các chi tiết trực quan phong phú được chỉ định trong câu lệnh văn bản. Mô hình sử dụng cả hai đầu vào (hình ảnh và văn bản) để giữ nguyên diện mạo độc đáo của người đó và chuyển động cơ thể tự nhiên, đồng thời tuân theo chính xác cảnh được mô tả trong câu lệnh.

Hình 5. Ví dụ về tính năng tạo video cá nhân hóa của mô hình.

Chỉnh sửa video chính xác#

Sử dụng mô hình Movie Gen Edit, người dùng có thể cung cấp cả clip video và câu lệnh văn bản làm đầu vào để chỉnh sửa video theo những cách sáng tạo. Mô hình kết hợp tạo video với chỉnh sửa hình ảnh tiên tiến để thực hiện các chỉnh sửa rất cụ thể, chẳng hạn như thêm, xóa hoặc thay thế các phần tử. Nó cũng có thể thực hiện các thay đổi toàn cục như sửa đổi nền của clip video hoặc phong cách tổng thể. Nhưng điều làm cho mô hình thực sự độc đáo là độ chính xác của nó: nó có thể nhắm mục tiêu chỉ vào các pixel cụ thể cần chỉnh sửa và để lại phần còn lại không thay đổi. Điều này bảo toàn nội dung gốc nhiều nhất có thể.

Hình 6. Các ví dụ khác nhau về khả năng chỉnh sửa video của mô hình Movie Gen Edit.

Các công cụ đánh giá của Meta Movie Gen#

Cùng với các mô hình AI tạo sinh, Meta cũng giới thiệu Movie Gen Bench, một bộ công cụ đánh giá chuẩn để kiểm tra hiệu suất của các mô hình AI tạo sinh. Nó đi kèm với hai công cụ chính: Movie Gen Video Bench và Movie Gen Audio Bench. Cả hai đều được thiết kế để kiểm tra các khía cạnh khác nhau của việc tạo video và âm thanh.

Dưới đây là sơ lược về cả hai công cụ:

• Movie Gen Video Bench: Nó bao gồm 1003 câu lệnh bao gồm nhiều danh mục kiểm tra khác nhau như hoạt động của con người, động vật, phong cảnh thiên nhiên, vật lý, cũng như các chủ đề và hoạt động bất thường. Điều làm cho tiêu chuẩn đánh giá này trở nên đặc biệt có giá trị là phạm vi bao phủ các mức độ chuyển động, đảm bảo rằng mô hình tạo video được kiểm tra cho cả các chuỗi nhịp độ nhanh và chậm hơn.
• Movie Gen Audio Bench: Nó được thiết kế để kiểm tra khả năng tạo âm thanh trên 527 câu lệnh. Các câu lệnh này được ghép nối với các video đã tạo để đánh giá mức độ mô hình có thể đồng bộ hóa hiệu ứng âm thanh và âm nhạc với nội dung hình ảnh.

Hình 7. Sơ đồ hiển thị phân tích các câu lệnh đánh giá, với danh sách các khái niệm ở bên trái và đám mây từ các danh từ và động từ thường được sử dụng ở bên phải.

Một ứng dụng thực tế của Meta Movie Gen#

Bây giờ chúng ta đã đề cập đến các mô hình Meta Movie Gen là gì và cách chúng hoạt động, hãy khám phá một trong những ứng dụng thực tế của chúng.

Những đổi mới của Movie Gen AI trong làm phim#

Một trong những ứng dụng thú vị nhất của Meta's Movie Gen là cách nó có thể chuyển đổi nghệ thuật làm phim thông qua việc tạo video và tạo âm thanh được hỗ trợ bởi AI. Với Movie Gen, những người sáng tạo có thể tạo ra hình ảnh và âm thanh chất lượng cao từ các câu lệnh văn bản đơn giản, mở ra những cách mới để kể chuyện.

Trên thực tế, Meta đã hợp tác với Blumhouse và một nhóm các nhà làm phim, thu thập phản hồi của họ về cách Movie Gen có thể hỗ trợ tốt nhất quá trình sáng tạo. Các nhà làm phim như Aneesh Chaganty, Spurlock Sisters và Casey Affleck đã thử nghiệm khả năng nắm bắt tâm trạng, giai điệu và định hướng trực quan của công cụ này. Họ phát hiện ra rằng các mô hình này đã giúp khơi dậy những ý tưởng mới mẻ.

Chương trình thí điểm này đã cho thấy rằng mặc dù Movie Gen không thay thế việc làm phim truyền thống, nhưng nó mang đến cho các đạo diễn một cách mới để thử nghiệm các yếu tố hình ảnh và âm thanh một cách nhanh chóng và sáng tạo. Các nhà làm phim cũng đánh giá cao cách các tính năng chỉnh sửa của công cụ cho phép họ chơi đùa với âm thanh nền, hiệu ứng và phong cách hình ảnh một cách tự do hơn.

Hình 8. Một khung hình của bộ phim ngắn được tạo bằng Meta Movie Gen.

Các điểm chính cần lưu ý#

Meta Movie Gen là một bước tiến trong việc sử dụng AI tạo sinh để tạo ra các video và âm thanh chất lượng cao từ các mô tả văn bản đơn giản. Công cụ này giúp người dùng dễ dàng tạo các video chân thực và tùy chỉnh. Với các khả năng như chỉnh sửa video chính xác và tạo phương tiện truyền thông được cá nhân hóa, Meta Movie Gen cung cấp một bộ công cụ linh hoạt mở ra những khả năng mới cho việc kể chuyện, làm phim và hơn thế nữa. Bằng cách giúp việc tạo hình ảnh chi tiết và hữu ích trở nên dễ dàng hơn, Meta Movie Gen đang thay đổi cách video được tạo và sử dụng trong các lĩnh vực khác nhau, đồng thời thiết lập một tiêu chuẩn mới cho việc sáng tạo nội dung dựa trên AI.

Để tìm hiểu thêm, hãy truy cập kho lưu trữ GitHub của chúng tôi và tương tác với cộng đồng của chúng tôi. Khám phá các ứng dụng AI trong xe tự lái và nông nghiệp trên các trang giải pháp của chúng tôi. 🚀