Video Generation
Tạo video là quá trình các model tạo sinh tổng hợp clip video mới từ văn bản, hình ảnh hoặc cảnh quay có sẵn, đồng thời duy trì chuyển động nhất quán theo thời gian.
Tạo video là việc dùng các model AI tạo sinh để tổng hợp video mới: một chuỗi khung hình trong đó đối tượng, ánh sáng và chuyển động nhất quán từ khung hình này sang khung hình tiếp theo. Model có thể bắt đầu từ prompt văn bản, ảnh tĩnh cần tạo chuyển động, clip hiện có cần đổi phong cách hoặc mở rộng, hoặc các khung hình trước đó cùng hành động như trong mô hình thế giới. So với một ảnh được tạo đơn lẻ, clip dài năm giây ở tốc độ 24 khung hình/giây gồm 120 ảnh phải nhất quán với nhau; những lỗi khó nhận ra ở một khung hình, chẳng hạn bàn tay thay đổi số ngón, sẽ hiện thành hiện tượng nhấp nháy hoặc biến dạng khi phát video. Hiểu video và theo dõi đối tượng hoạt động theo chiều ngược lại, phân tích đoạn phim đã có.
Lĩnh vực này phát triển từ các clip rất ngắn đến video dài hàng phút trong chưa đầy một thập kỷ. VGAN năm 2016 của Carl Vondrick, Hamed Pirsiavash và Antonio Torralba, một mạng đối sinh tạo, tạo ra khoảng một giây video 64×64 bằng cách tạo riêng nền tĩnh và tiền cảnh chuyển động. Jonathan Ho cùng các cộng sự tại Google mở rộng mô hình khuếch tán sang video vào tháng 4 năm 2022; Make-A-Video của Meta và Imagen Video của Google ra mắt vào mùa thu năm đó; còn Sora của OpenAI, được giới thiệu bản xem trước vào tháng 2 năm 2024, tạo ra các clip dài đến một phút. Các model trọng số mở như HunyuanVideo của Tencent (tháng 12 năm 2024) và Wan 2.1 của Alibaba (tháng 2 năm 2025) giúp người dùng có thể chạy và tinh chỉnh cùng kiến trúc đó trên máy cục bộ.
Cách các model tạo video hoạt động#
Phần lớn hệ thống hiện nay là mô hình khuếch tán tiềm ẩn gồm ba phần. Bộ mã hóa tự động video nén clip cả theo không gian lẫn thời gian thành một tensor tiềm ẩn nhỏ hơn nhiều, vì khử nhiễu pixel thô của hàng trăm khung hình sẽ quá tốn kém. Mạng khử nhiễu, hiện nay thường là một transformer khuếch tán (DiT), chia tensor tiềm ẩn thành các patch không-thời gian—đơn vị mà Sora của OpenAI xử lý—rồi từng bước loại bỏ nhiễu; attention kết nối mọi patch với các patch ở khung hình khác để chủ thể giữ nguyên hình dạng khi chuyển động. Sau đó, bộ giải mã của bộ mã hóa tự động chuyển tensor tiềm ẩn đã làm sạch trở lại thành các khung hình.
Các model trước đây chọn những phương án ít tốn kém hơn để duy trì tính nhất quán theo thời gian. Nhiều model bổ sung các lớp attention thời gian—so sánh cùng một vị trí giữa các khung hình—vào U-Net văn bản-sang-hình ảnh đã tiền huấn luyện, nhờ đó mạng tái sử dụng kiến thức về hình ảnh và chỉ học chuyển động. Imagen Video nối một model nền với các model siêu phân giải không gian và thời gian riêng biệt để lần lượt tăng độ phân giải và tốc độ khung hình. Lumiere của Google (2024) tạo toàn bộ clip trong một lượt bằng U-Net không-thời gian, với lập luận rằng các chuỗi trước tiên tạo keyframe cách xa nhau gặp khó khăn trong việc duy trì chuyển động nhất quán toàn cục. Video dài hoặc tương tác thường được tạo tự hồi quy theo từng đoạn, mỗi đoạn dựa trên các khung hình trước đó; các phương pháp như huấn luyện khuếch tán có điều kiện huấn luyện model cho thiết lập này.
Các loại hình tạo video#
- Văn bản-sang-video: Tạo clip chỉ từ prompt dạng văn bản.
- Hình ảnh-sang-video: Tạo chuyển động từ ảnh tĩnh, giữ ảnh làm khung hình đầu tiên để người dùng kiểm soát bố cục và chủ thể.
- Video-sang-video: Đổi phong cách, chỉnh sửa hoặc mở rộng clip hiện có trong khi giữ nguyên chuyển động; đây là công cụ cốt lõi trong chỉnh sửa video bằng AI.
- Âm thanh và video kết hợp: Veo 3 của Google (tháng 5 năm 2025) và Sora 2 của OpenAI (tháng 9 năm 2025) tạo hội thoại, hiệu ứng âm thanh và nhạc đồng bộ với hình ảnh.
- Mô hình thế giới: Dự đoán các khung hình tiếp theo dựa trên khung hình hiện tại cùng một hành động, chẳng hạn lệnh đánh lái hoặc chuyển động của cánh tay robot, để video phản hồi theo điều khiển.
Ứng dụng#
Các nhóm làm phim và quảng cáo sử dụng những model tạo sinh như Veo của Google DeepMind và Movie Gen của Meta để dựng trước hình ảnh và tạo những cảnh quay tốn kém nếu thực hiện ngoài đời thực; đây là một phần của xu hướng rộng hơn hướng tới AI trong sản xuất phim. Các nhà phát triển AI vật lý tạo cảnh lái xe và robot với các sự kiện hiếm: các mô hình nền tảng thế giới Cosmos của NVIDIA, ra mắt vào tháng 1 năm 2025, tạo video để huấn luyện xe tự hành và robot; GAIA-1 của Wayve tạo cảnh lái xe dựa trên văn bản và hành động của xe. Khi các khung hình được gắn nhãn, clip tạo sinh trở thành dữ liệu tổng hợp cho các model nhận thức; tập dữ liệu trên Ultralytics Platform nhận clip được tạo sẽ lấy mẫu ở tốc độ 1 khung hình/giây, tối đa 100 khung hình, rồi lưu từng khung hình dưới dạng ảnh sẵn sàng để gắn nhãn.
Hạn chế và đánh giá#
Video tạo sinh vẫn vi phạm các quy luật vật lý và tính liên tục của vật thể. OpenAI cho biết Sora không mô hình hóa chính xác các tương tác như kính vỡ; các vật thể được tạo có thể xuyên qua nhau, xuất hiện từ hư không hoặc biến mất sau một vật che khuất. Chi phí tính toán tăng theo độ phân giải và thời lượng, đó là lý do hầu hết model chỉ tạo clip dài vài giây rồi mở rộng theo từng giai đoạn. Việc đánh giá đã chuyển từ một điểm số phân phối duy nhất—Fréchet Video Distance, phiên bản dành cho video của Fréchet Inception Distance (FID)—sang các bộ đánh giá như VBench, chấm điểm 16 khía cạnh từ tính nhất quán của chủ thể đến mức độ bám sát prompt. Đầu ra chân thực cũng tạo điều kiện cho deepfake, vì vậy các nhà cung cấp đánh dấu video tạo sinh bằng watermark AI và Content Credentials: Google nhúng watermark SynthID vô hình vào mọi video Veo.










