Meta Movie Gen: Tái định hình sáng tạo nội dung

Dù bạn là nhà làm phim đầy triển vọng hay nhà sáng tạo nội dung thích làm video cho khán giả, các công cụ AI giúp mở rộng khả năng sáng tạo luôn hữu ích. Gần đây, Meta ra mắt model tạo video mới nhất, có tên Meta Movie Gen.

Thị trường AI tạo sinh toàn cầu trong lĩnh vực truyền thông và giải trí dự kiến đạt 11,57 tỷ USD vào năm 2033, với các công ty như Runway, OpenAI và Meta dẫn đầu. Đặc biệt, Meta Movie Gen phù hợp với các ứng dụng như làm phim, sáng tạo nội dung video và kể chuyện kỹ thuật số, giúp hiện thực hóa những ý tưởng sáng tạo bằng video do AI tạo ra với chất lượng cao dễ dàng hơn bao giờ hết. Trong bài viết này, chúng ta sẽ tìm hiểu Meta Movie Gen và cách hoạt động của công nghệ này. Đồng thời, chúng ta cũng sẽ xem xét kỹ hơn một số ứng dụng của Meta Movie Gen.

Hình 1. Một khung hình trong video clip được tạo bằng Meta Movie Gen.

Meta Movie Gen là gì?#

Trước khi thảo luận Meta Movie Gen là gì, hãy cùng xem công nghệ này ra đời như thế nào.

Các nỗ lực nghiên cứu của Meta liên quan đến AI tạo sinh bắt đầu với loạt model Make-A-Scene. Nghiên cứu này tập trung vào phương pháp AI tạo sinh đa phương thức, giúp nghệ sĩ và những người giàu ý tưởng biến trí tưởng tượng thành hiện thực. Nghệ sĩ có thể nhập hình ảnh, âm thanh, video hoặc hoạt ảnh 3D để tạo ra hình ảnh mong muốn. Bước tiến đổi mới tiếp theo đến từ các model khuếch tán như model nền tảng Llama Image (Emu), giúp tạo hình ảnh và video chất lượng cao hơn nhiều, đồng thời hỗ trợ chỉnh sửa hình ảnh.

Hình 2. Ví dụ sử dụng bản phác thảo và văn bản đầu vào của Make-A-Scene để tạo hình ảnh.

Movie Gen là đóng góp mới nhất của Meta cho nghiên cứu AI tạo sinh. Công nghệ này kết hợp tất cả các phương thức đã đề cập và cho phép kiểm soát chi tiết hơn, giúp mọi người sử dụng model theo những cách sáng tạo hơn. Meta Movie Gen là một tập hợp các model nền tảng để tạo nhiều loại nội dung đa phương tiện, bao gồm văn bản thành video, văn bản thành âm thanh và văn bản thành hình ảnh. Bộ này gồm bốn model, được huấn luyện trên sự kết hợp giữa dataset được cấp phép và dataset công khai.

Dưới đây là tổng quan nhanh về các model này:

• Model Movie Gen Video: Model 30 tỷ tham số tạo video chất lượng cao từ prompt văn bản.
• Model Movie Gen Audio: Model 13 tỷ tham số có thể tạo nhạc nền đồng bộ với nội dung video.
• Model Movie Gen Video cá nhân hóa: Model tạo video về những cá nhân cụ thể dựa trên prompt văn bản và một hình ảnh, đồng thời giữ nguyên diện mạo của họ.
• Model Movie Gen Edit: Model cho phép chỉnh sửa video thực và hư cấu chi tiết bằng văn bản.

Huấn luyện model video Meta Movie Gen#

Quá trình tạo và huấn luyện model Movie Gen Video bao gồm một số bước quan trọng. Đầu tiên là thu thập và chuẩn bị dữ liệu hình ảnh, gồm hình ảnh và đoạn video, chủ yếu ghi lại hoạt động của con người và được lọc theo chất lượng, chuyển động và mức độ liên quan. Sau đó, dữ liệu được ghép với chú thích văn bản mô tả diễn biến trong từng cảnh. Các chú thích do model Llama 3-Video của Meta tạo ra cung cấp thông tin phong phú về nội dung từng cảnh, qua đó nâng cao khả năng kể chuyện bằng hình ảnh của model.

Hình 3. Tổng quan về pipeline tuyển chọn dữ liệu tiền huấn luyện của model Movie Gen Video.

Quá trình huấn luyện bắt đầu bằng việc model học cách chuyển văn bản thành hình ảnh độ phân giải thấp. Sau đó, model tiến đến tạo các đoạn video hoàn chỉnh thông qua kết hợp huấn luyện văn bản thành hình ảnh và văn bản thành video, sử dụng hình ảnh có chất lượng ngày càng cao.

Một công cụ có tên Temporal Autoencoder (TAE) đã nén video để quản lý hiệu quả khối lượng dữ liệu lớn. Tinh chỉnh giúp cải thiện thêm chất lượng video, còn một phương pháp có tên trung bình hóa model (lấy trung bình một số model được tinh chỉnh với dữ liệu, siêu tham số và checkpoint khác nhau) đảm bảo đầu ra nhất quán hơn. Cuối cùng, video ban đầu có độ phân giải 768p được nâng lên độ phân giải 1080p sắc nét bằng kỹ thuật upsampler không gian, bổ sung dữ liệu pixel để hình ảnh rõ hơn. Kết quả là video đầu ra chất lượng cao, chi tiết.

Khám phá các khả năng của Meta Movie Gen#

Các model Meta Movie Gen chủ yếu hỗ trợ bốn khả năng khác nhau. Hãy cùng tìm hiểu kỹ từng khả năng.

Tạo video và âm thanh#

Meta Movie Gen có thể tạo video chất lượng cao. Các đoạn video có thể dài tối đa 16 giây và chạy ở tốc độ 16 fps (khung hình mỗi giây), tạo hình ảnh chân thực thể hiện chuyển động, tương tác và góc quay dựa trên prompt văn bản. Khi kết hợp với model âm thanh 13 tỷ tham số, công nghệ này có thể tạo âm thanh đồng bộ, bao gồm âm thanh môi trường, hiệu ứng Foley và âm nhạc phù hợp với hình ảnh.

Thiết lập này giúp hình ảnh và âm thanh luôn đồng bộ, chân thực trong nhiều cảnh và prompt khác nhau. Ví dụ, các model này đã được dùng để tạo video về chú hà mã lùn nổi tiếng ở Thái Lan tên là Moo Deng.

Hình 4. Một khung hình trong video clip về Moo Deng được tạo bằng Movie Gen của Meta.

Tạo video cá nhân hóa#

Một khả năng thú vị khác của model Meta Movie Gen là tạo video cá nhân hóa. Người dùng có thể cung cấp hình ảnh một người cùng prompt văn bản mô tả cách tạo video, từ đó tạo ra video có người tham chiếu và tích hợp các chi tiết hình ảnh phong phú được nêu trong prompt. Model sử dụng cả hai đầu vào (hình ảnh và văn bản) để giữ nguyên diện mạo riêng và chuyển động cơ thể tự nhiên của người đó, đồng thời tái hiện chính xác cảnh được mô tả trong prompt.

Hình 5. Ví dụ về khả năng tạo video cá nhân hóa của model.

Chỉnh sửa video chính xác#

Với model Movie Gen Edit, người dùng có thể cung cấp đoạn video và prompt văn bản làm đầu vào để chỉnh sửa video theo những cách sáng tạo. Model kết hợp tạo video với khả năng chỉnh sửa hình ảnh tiên tiến để thực hiện các chỉnh sửa rất cụ thể, chẳng hạn như thêm, xóa hoặc thay thế thành phần. Model cũng có thể thực hiện thay đổi tổng thể như sửa phông nền hoặc phong cách chung của đoạn video. Điểm khác biệt của model là độ chính xác: model có thể chỉ tác động đến các pixel cụ thể cần chỉnh sửa và giữ nguyên phần còn lại. Nhờ vậy, nội dung gốc được bảo toàn tối đa.

Hình 6. Một số ví dụ về khả năng chỉnh sửa video của model Movie Gen Edit.

Các công cụ đánh giá chuẩn của Meta Movie Gen#

Cùng với các model AI tạo sinh, Meta cũng giới thiệu Movie Gen Bench, một bộ công cụ benchmark để kiểm tra hiệu năng của các model AI tạo sinh. Bộ công cụ này gồm hai thành phần chính: Movie Gen Video Bench và Movie Gen Audio Bench. Cả hai được thiết kế để kiểm tra các khía cạnh khác nhau của việc tạo video và âm thanh.

Dưới đây là tổng quan sơ lược về cả hai công cụ:

• Movie Gen Video Bench: Bộ benchmark này gồm 1.003 prompt thuộc nhiều danh mục kiểm thử, chẳng hạn như hoạt động của con người, động vật, phong cảnh thiên nhiên, vật lý, cũng như các chủ đề và hoạt động khác thường. Điểm đặc biệt hữu ích của benchmark đánh giá này là phạm vi bao quát các mức độ chuyển động, đảm bảo model tạo video được kiểm thử với cả chuỗi chuyển động nhanh và chậm.
• Movie Gen Audio Bench: Công cụ được thiết kế để kiểm tra khả năng tạo âm thanh qua 527 prompt. Các prompt này được ghép với video được tạo ra để đánh giá khả năng đồng bộ hiệu ứng âm thanh và âm nhạc với nội dung hình ảnh của model.

Hình 7. Sơ đồ phân tích các prompt đánh giá, với danh sách khái niệm ở bên trái và đám mây từ gồm các danh từ, động từ thường dùng ở bên phải.

Ứng dụng thực tế của Meta Movie Gen#

Giờ đây, sau khi đã tìm hiểu các model Meta Movie Gen là gì và cách chúng hoạt động, hãy cùng khám phá một ứng dụng thực tế của các model này.

Những đổi mới của Movie Gen AI trong ngành làm phim#

Một trong những ứng dụng thú vị nhất của Movie Gen của Meta là khả năng chuyển đổi quy trình làm phim thông qua việc tạo video và âm thanh bằng AI. Với Movie Gen, nhà sáng tạo có thể tạo hình ảnh và âm thanh chất lượng cao từ các prompt văn bản đơn giản, mở ra những cách kể chuyện mới.

Trên thực tế, Meta đã hợp tác với Blumhouse và một nhóm nhà làm phim để thu thập phản hồi về cách Movie Gen có thể hỗ trợ tốt nhất cho quy trình sáng tạo. Các nhà làm phim như Aneesh Chaganty, Spurlock Sisters và Casey Affleck đã thử nghiệm khả năng nắm bắt tâm trạng, sắc thái và định hướng hình ảnh của công cụ. Họ nhận thấy các model giúp khơi gợi những ý tưởng mới.

Chương trình thử nghiệm này cho thấy dù Movie Gen không thay thế việc làm phim truyền thống, công cụ vẫn mang đến cho đạo diễn một cách mới để thử nghiệm nhanh chóng và sáng tạo các yếu tố hình ảnh, âm thanh. Các nhà làm phim cũng đánh giá cao tính năng chỉnh sửa của công cụ, cho phép họ linh hoạt hơn khi thử nghiệm âm thanh nền, hiệu ứng và phong cách hình ảnh.

Hình 8. Một khung hình trong phim ngắn được tạo bằng Meta Movie Gen.

Điểm chính cần ghi nhớ#

Meta Movie Gen là bước tiến trong việc sử dụng AI tạo sinh để tạo video và âm thanh chất lượng cao từ mô tả văn bản đơn giản. Công cụ này giúp người dùng dễ dàng tạo video chân thực theo yêu cầu. Với các khả năng như chỉnh sửa video chính xác và tạo nội dung đa phương tiện cá nhân hóa, Meta Movie Gen cung cấp bộ công cụ linh hoạt, mở ra nhiều khả năng mới cho kể chuyện, làm phim và hơn thế nữa. Bằng cách giúp việc tạo hình ảnh chi tiết và hữu ích trở nên dễ dàng hơn, Meta Movie Gen đang thay đổi cách tạo và sử dụng video trong nhiều lĩnh vực.

Để tìm hiểu thêm, hãy truy cập kho GitHub và tham gia cộng đồng của chúng tôi. Khám phá các ứng dụng AI trong xe tự lái và nông nghiệp trên các trang giải pháp của chúng tôi.