Tạo video bằng Veo của Google DeepMind

Trong bài thuyết trình Google I/O 2024 ngày 14 tháng 5, Google đã chia sẻ những cập nhật mới nhất từ DeepMind, bộ phận AI của hãng. Một trong những thông báo nổi bật là model tạo video mới có tên Veo. Veo có thể tạo video 1080p chất lượng cao dựa trên prompt văn bản, hình ảnh và video. Công cụ này thậm chí còn cho phép bạn chỉnh sửa video đã tạo bằng các prompt tiếp theo. Hãy cùng tìm hiểu kỹ hơn về những tính năng của Veo.

Tìm hiểu khả năng của Veo#

Veo là model tạo video sử dụng khả năng hiểu sâu về ngôn ngữ và hình ảnh để tạo ra video bám sát ý tưởng sáng tạo của người dùng. Model có thể nắm bắt chính xác sắc thái và chi tiết trong các prompt dài hơn, trở thành công cụ mạnh mẽ cho những nhà sáng tạo muốn biến ý tưởng thành nội dung video chính xác.

Người dùng có thể kiểm soát sáng tạo chi tiết đối với video được tạo ra vì Veo hiểu các kỹ thuật làm phim như “timelapse” và “cảnh quay phong cảnh từ trên không”. Khả năng kiểm soát sáng tạo này giúp người dùng tạo ra video có chuyển động tự nhiên của con người, động vật và đồ vật. Video do Veo tạo ra hấp dẫn và bắt mắt vì rất khó nhận ra chúng được tạo bởi model AI.

Veo không chỉ tạo video từ prompt. Nếu bạn cung cấp một video đã tạo trước đó cùng yêu cầu chỉnh sửa cụ thể, chẳng hạn thêm thuyền kayak vào cảnh quay bờ biển từ trên cao, Veo có thể tích hợp thay đổi này vào video gốc và tạo ra phiên bản cập nhật.

Hình 1. Ví dụ chỉnh sửa video bằng Veo.

Dưới đây là một số tính năng khác của Veo:

• Chỉnh sửa theo vùng được chọn: Veo có thể giúp bạn chỉnh sửa các vùng cụ thể trong video.
• Tạo video lấy cảm hứng từ hình ảnh: Khi sử dụng hình ảnh và prompt văn bản, Veo có thể tạo video mô phỏng phong cách của hình ảnh và làm theo hướng dẫn trong prompt.
• Đoạn video dài hơn: Veo có thể tạo và mở rộng các đoạn video lên 60 giây trở lên, từ một prompt đơn lẻ hoặc một chuỗi prompt kết hợp để kể một câu chuyện.

Những video ngoạn mục do Veo tạo ra#

Hãy cùng xem một số video Veo đã tạo và tìm hiểu điều gì khiến chúng nổi bật.

Tạo video timelapse từ một prompt văn bản ngắn là việc khó. Thông thường, prompt ngắn không thể diễn tả chính xác những thay đổi và chuyển động trong cảnh timelapse. Vì vậy, việc Veo có thể hiểu nội dung cần thể hiện trong timelapse mà không cần mô tả chi tiết là điều đáng chú ý.

Hình 2. Một khung hình từ video time-lapse do Veo tạo.

Tương tự, tạo video có chuyển động tuân theo vật lý chính xác cũng không dễ. Model AI cần hiểu và mô phỏng các quy luật vật lý như trọng lực, động lượng và va chạm để chuyển động cũng như tương tác trông chân thực. Veo có thể mô hình hóa chính xác những động lực này mà không cần hướng dẫn chi tiết trong prompt văn bản, đó là điều rất ấn tượng.

Hình 3. Một khung hình từ video tạo bằng Veo, thể hiện chính xác vật lý chuyển động của sứa.

Cho đến nay, chúng ta chỉ thấy AI tạo ra các video ngắn hơn do hạn chế về năng lực tính toán và độ phức tạp của việc duy trì tính nhất quán trong các chuỗi dài. Trong bài thuyết trình Google I/O 2024, khả năng tạo video dài hơn và phức tạp hơn của Veo đã được giới thiệu.

Hình 4. Các khung hình từ video Veo dài hơn được trình chiếu tại bài thuyết trình Google I/O 2024.

Veo hoạt động như thế nào?#

Giống nhiều model AI khác, Veo được xây dựng dựa trên những thành tựu trước đó. Model kế thừa các tiến bộ như Generative Query Network (GQN), DVD-GAN, Imagen-Video, Phenaki, WALT, VideoPoet và Lumiere, cũng như kiến trúc Transformer và Gemini của Google. Ngoài ra, để cải thiện khả năng diễn giải prompt chính xác của Veo, chú thích cho từng video trong tập dữ liệu huấn luyện đã được mô tả chi tiết hơn.

Dựa trên quy trình hoạt động sơ lược của model do Google chia sẻ, Veo hoạt động như sau:

• Prompt đầu vào: Bạn cung cấp một prompt văn bản và tùy chọn thêm một prompt hình ảnh.
• Mã hóa: Prompt văn bản được xử lý bởi UL2 Encoder, còn prompt hình ảnh được xử lý bởi image encoder.
• Prompt dạng embedding: Đầu ra từ encoder văn bản và encoder hình ảnh được kết hợp để tạo thành một prompt dạng embedding duy nhất.
• Model khuếch tán tiềm ẩn: Prompt dạng embedding và một video nén có nhiễu được đưa vào model này, model tạo ra video nén dựa trên chúng. Veo sử dụng các biểu diễn video nén chất lượng cao, gọi là latent, để tăng hiệu quả mà vẫn duy trì chất lượng.
• Giải mã: Bước cuối cùng giải mã đầu ra video 1080p từ video nén.

Hình 5. Cách Veo hoạt động.

Một case study hấp dẫn về làm phim#

Để thử nghiệm khả năng của Veo, Google đã hợp tác với nhà làm phim Donald Glover và studio sáng tạo Gilga của anh. Họ sử dụng Veo để khám phá nhiều kỹ thuật sáng tạo, bao gồm các cú máy tracking linh hoạt, đòi hỏi chuyển động chính xác và khung hình nhất quán.

Hình 6. Sử dụng Veo trong quy trình làm phim.

Theo cách làm truyền thống, các nhà làm phim gặp hạn chế do thời gian và nguồn lực. Với Veo, Glover và nhóm của ông có thể nhanh chóng thử nghiệm và tạo ra những cảnh quay phức tạp, từ đó mang lại sự linh hoạt và đổi mới lớn hơn trong quy trình làm phim.

Ví dụ, trước khi quay thật, họ có thể thử nhiều cảnh quay tracking chuyển động khác nhau để xem kết quả và điều chỉnh khi cần. Quy trình tiền trực quan hóa này giúp họ hoàn thiện ý tưởng và đảm bảo các cảnh quay đạt mục đích, qua đó giảm số lần quay cần thiết. Họ đã tạo ra một case study thuyết phục để minh họa tiềm năng thay đổi ngành điện ảnh của Veo. Công cụ này mang đến cách nhanh chóng và hiệu quả hơn để biến ý tưởng sáng tạo thành hiện thực.

Ứng dụng thực tế của Veo trong nhiều ngành#

Khả năng tạo video tiên tiến của Veo có ứng dụng thực tế trong nhiều ngành. Trong lĩnh vực quảng cáo, Veo có thể nhanh chóng tạo quảng cáo chất lượng cao, tùy chỉnh cho các nhóm đối tượng mục tiêu, giúp tiết kiệm thời gian và chi phí sản xuất. Trong giáo dục, Veo có thể tạo video hướng dẫn hấp dẫn, giúp người học dễ hiểu các khái niệm phức tạp hơn.

Doanh nghiệp có thể sử dụng Veo cho hoạt động đào tạo và truyền thông nội bộ. Chuyên gia y tế có thể dùng Veo để mô phỏng các thủ thuật y khoa phục vụ đào tạo. Đối với sự kiện và hội nghị trực tuyến, Veo có thể tạo mô phỏng chân thực về địa điểm và sân khấu, mang đến cho người tham dự trải nghiệm hấp dẫn, tương tác từ bất kỳ đâu. Ban tổ chức có thể mở rộng phạm vi tiếp cận và thu thập thông tin giá trị cho các sự kiện trong tương lai.

Khi một model AI có tiềm năng tác động đến nhiều ngành khác nhau, điều quan trọng là phải lưu ý đến tính an toàn và đạo đức trong AI. Để mở rộng khả năng ứng dụng và đảm bảo việc sử dụng có trách nhiệm, Google đã triển khai một số biện pháp an toàn. Video do Veo tạo ra được đóng dấu bản quyền bằng SynthID, một công cụ đóng dấu và nhận diện nội dung do AI tạo. SynthID hỗ trợ tính minh bạch và giúp giảm thiểu rủi ro về quyền riêng tư, bản quyền và thiên kiến. Ngoài ra, mọi video được tạo đều trải qua các bộ lọc an toàn và quy trình kiểm tra khả năng ghi nhớ. Những biện pháp bảo vệ này nhằm hỗ trợ việc sản xuất video có trách nhiệm.

Cách truy cập Veo#

Khi ra mắt, Google cho biết hãng sẽ bắt đầu cung cấp một số tính năng của Veo cho một nhóm nhà sáng tạo được chọn thông qua VideoFX, công cụ mới có tại labs.google, giúp nhà sáng tạo sớm trải nghiệm khả năng tạo video của Veo. Google đã mở danh sách chờ Veo để những nhà sáng tạo quan tâm đăng ký.

Thông tin thêm về các cập nhật AI tạo sinh năm 2024 của DeepMind#

Ngoài Veo, DeepMind đã giới thiệu một số cập nhật về AI tạo sinh trong năm 2024. Một trong số đó là Imagen 3, model chuyển văn bản thành hình ảnh tiên tiến nhất của DeepMind vào thời điểm đó. Imagen 3 vượt trội trong việc tạo ra hình ảnh chân thực như ảnh chụp. Model này hiểu sâu prompt ngôn ngữ tự nhiên và tái hiện các chi tiết phức tạp, đồng thời giảm thiểu lỗi hình ảnh.

Hình 7. Hình ảnh được tạo bằng Imagen 3.

DeepMind cũng đã phát triển Lyria, model tiên tiến nhất của họ để tạo nhạc bằng AI. Trong khuôn khổ nỗ lực này, DeepMind đã xây dựng một bộ công cụ AI âm nhạc mang tên Music AI Sandbox. Những công cụ này giúp nhạc sĩ và nhà sản xuất khám phá các khả năng sáng tạo mới trong sáng tác nhạc và biến đổi âm thanh.

Hình 8. Ví dụ giao diện người dùng của các công cụ AI âm nhạc từ DeepMind.

Tương tự Veo, DeepMind cũng đã triển khai một số biện pháp an toàn cho các cập nhật khác. SynthID sẽ được sử dụng trong các cập nhật này như một công cụ đóng dấu và nhận diện nội dung do AI tạo. Những cập nhật từ DeepMind hứa hẹn chuyển đổi nhiều ngành bằng cách cung cấp các công cụ tiên tiến, hiệu quả và có trách nhiệm để tạo nội dung hình ảnh và âm thanh chất lượng cao.

Định hướng giai đoạn tiếp theo của AI tạo sinh#

Những tiến bộ AI tạo sinh năm 2024 của DeepMind, bao gồm Veo, Imagen 3 và Lyria, đánh dấu bước tiến đáng kể về năng lực AI. Veo thay đổi cách tạo video nhờ khả năng tạo video chất lượng cao 1080p từ các prompt đơn giản, trở thành công cụ linh hoạt cho nhà làm phim và nhà sáng tạo nội dung. Imagen 3 nổi bật với khả năng tạo hình ảnh chân thực như ảnh chụp, còn Lyria mở ra những khả năng mới trong lĩnh vực tạo nhạc bằng các công cụ AI tiên tiến.

Những công nghệ này hứa hẹn chuyển đổi nhiều ngành bằng cách cung cấp các công cụ hiệu quả và có trách nhiệm để tạo nội dung hình ảnh và âm thanh chất lượng cao. Với các biện pháp an toàn như SynthID bảo đảm việc sử dụng có đạo đức, DeepMind tiếp tục mở rộng giới hạn của AI, mở đường cho những ứng dụng đổi mới trong tương lai.

Khám phá AI bằng cách truy cập repository GitHub và tham gia cộng đồng của chúng tôi. Khám phá các trang giải pháp để tìm hiểu cách AI được ứng dụng trong sản xuất và nông nghiệp.