Text-to-Video

Chuyển văn bản thành video là việc tạo clip video từ prompt ngôn ngữ tự nhiên, chẳng hạn "một con cáo đỏ chạy nước kiệu qua lớp tuyết mới lúc bình minh, cảnh máy quay bám theo ở tầm thấp." Đây là nhánh tạo video chỉ yêu cầu văn bản làm đầu vào và mở rộng khả năng chuyển văn bản thành hình ảnh bằng trục thời gian: model phải kết xuất các đối tượng, phong cách và chuyển động máy quay được nêu trong prompt, đồng thời tự tạo chuyển động chỉ được ngụ ý, chẳng hạn cách chân cáo di chuyển khi chạy nước kiệu. Các model nghiên cứu đầu tiên năm 2022 gồm CogVideo của Đại học Thanh Hoa, một Transformer có 9,4 tỷ tham số, và Make-A-Video của Meta, học diện mạo sự vật từ các cặp văn bản-hình ảnh và học cách chuyển động từ video chưa gán nhãn, do đó không cần dữ liệu ghép cặp văn bản-video. Sora của OpenAI, được giới thiệu bản xem trước vào tháng 2 năm 2024, tạo clip độ phân giải cao dài một phút; Meta Movie Gen ra mắt tiếp theo vào tháng 10 năm 2024, còn dòng Veo của Google DeepMind đạt tới Veo 3 vào tháng 5 năm 2025; giống Sora 2 của OpenAI, model này tạo lời thoại và âm thanh đồng bộ với hình ảnh.

Văn bản điều kiện hóa model video như thế nào#

Một model ngôn ngữ đóng băng, chẳng hạn encoder T5, chuyển prompt thành chuỗi embedding token. Model video, thường là một Transformer khuếch tán xử lý video latent đã nén, đọc các embedding đó thông qua cross-attention ở mỗi bước khử nhiễu, nhờ vậy mỗi mảng không-thời gian của clip có thể chú ý đến những từ mô tả nó. Quá trình tạo bắt đầu từ nhiễu ngẫu nhiên rồi loại bỏ nhiễu từng bước, giống các model khuếch tán khác, cho đến khi decoder chuyển latent sạch thành các khung hình.

Mức độ tuân thủ prompt được điều chỉnh bằng hướng dẫn không cần bộ phân loại, do Jonathan Ho và Tim Salimans giới thiệu năm 2022. Trong quá trình huấn luyện, prompt bị loại bỏ ở một phần mẫu, nhờ đó một mạng học cả dự đoán có điều kiện lẫn không điều kiện; ở mỗi bước lấy mẫu, model tính cả hai dự đoán rồi đẩy kết quả rời xa dự đoán không điều kiện theo một hệ số hướng dẫn. Hệ số cao hơn giúp kết quả bám prompt sát hơn nhưng phải đánh đổi sự đa dạng và màu sắc tự nhiên.

Dữ liệu mà model học quan trọng không kém kiến trúc của model. Phần lớn video huấn luyện không có mô tả hoặc chỉ có mô tả ngắn, nhiễu; vì vậy OpenAI tạo lại chú thích cho các clip huấn luyện của Sora bằng một model tạo chú thích chuyên biệt, viết mô tả chi tiết, đồng thời dùng GPT để mở rộng prompt ngắn của người dùng thành cùng phong cách chi tiết khi tạo video. Làm phong phú prompt giúp thu hẹp khoảng cách giữa cách mọi người viết prompt và chú thích dùng để huấn luyện model.

Ứng dụng#

• Tiền trực quan hóa phim: Đạo diễn và nhà thiết kế game chuyển cảnh viết thành clip nháp để thử góc quay, ánh sáng và nhịp độ trước khi quay.
• Tiếp thị và quảng cáo: Các thương hiệu tạo nhiều phiên bản ảnh sản phẩm và clip mạng xã hội từ một kịch bản.
• Giáo dục và nội dung giải thích: Giáo viên và nhà xuất bản minh họa các quy trình khó quay phim, chẳng hạn cảnh lịch sử hoặc quá trình phân chia tế bào.
• Dữ liệu tổng hợp: Prompt mô tả các sự kiện hiếm gặp, chẳng hạn nai băng qua đường cao tốc vào ban đêm, tạo ra cảnh quay để huấn luyện model nhận thức sau khi các khung hình được gán nhãn.

Các lỗi thường gặp và đánh giá#

Model chuyển văn bản thành video thường thất bại nhất ở những phần của prompt cần liên kết chính xác. Số lượng bị sai lệch ("ba con chó" biến thành hai hoặc bốn), thuộc tính bị hoán đổi giữa các đối tượng ("một xe hơi màu đỏ cạnh một xe tải màu xanh"), quan hệ không gian bị đảo ngược và văn bản trong cảnh trở nên khó đọc. Theo thời gian, đối tượng biến dạng thành hình khác, xuất hiện từ hư không hoặc biến mất sau vật che khuất; tương tác vật lý cũng bị sai: OpenAI cho biết Sora không mô hình hóa chính xác hiện tượng kính vỡ. Những lỗi này là một dạng ảo giác trong video.

VBench chấm điểm riêng các lỗi này theo những khía cạnh như lớp đối tượng, nhiều đối tượng, màu sắc, quan hệ không gian, hành động của con người và tính nhất quán của chủ thể; họ metric phân phối Khoảng cách Inception Fréchet (FID) đo mức độ chân thực tổng thể. Phát hiện đối tượng là công cụ chủ lực để kiểm tra nội dung: chạy YOLO26 YOLO26 ở chế độ theo dõi trên clip được tạo sẽ cấp ID cố định cho từng đối tượng phát hiện, nên nếu clip được nhắc với hai con chó nhưng tích lũy tới năm ID chó, các đối tượng đã biến mất rồi xuất hiện lại hoặc đổi hình dạng giữa cảnh quay.

Vì clip được tạo có thể mô tả người thật làm những việc họ chưa từng làm, chuyển văn bản thành video đặt ra các mối lo ngại tương tự deepfake và đạo đức AI nói chung. Các nhà cung cấp chặn prompt nêu tên nhân vật công chúng, thêm watermark hiển thị và tín hiệu đóng dấu watermark AI, đồng thời đính kèm Thông tin xác thực nội dung; video Sora 2 của OpenAI có cả watermark chuyển động hiển thị lẫn metadata C2PA.