VBench
VBench chấm điểm video do AI tạo ra theo 16 khía cạnh, từ tính nhất quán của chủ thể đến mức độ tuân thủ prompt. Từng khía cạnh đo lường điều gì và cách đọc kết quả.
VBench là bộ benchmark cho tác vụ tạo video từ văn bản, chấm điểm các clip được tạo theo 16 khía cạnh riêng biệt về chất lượng thị giác và mức độ bám sát prompt. Các nhà nghiên cứu từ S-Lab của Đại học Công nghệ Nanyang và Shanghai AI Laboratory giới thiệu bộ benchmark này vào tháng 11 năm 2023 trong bài báo VBench: Bộ benchmark toàn diện cho mô hình tạo video, được chọn làm bài báo nổi bật tại CVPR 2024. Bảng xếp hạng công khai của VBench từ đó trở thành tài liệu tham khảo phổ biến để so sánh các model tạo video, từ LaVie, ModelScope, VideoCrafter và CogVideo trong bài báo ban đầu đến các hệ thống diffusion transformer ra đời sau.
Trước VBench, việc đánh giá chủ yếu dựa vào các metric phân phối đơn lẻ như Fréchet Video Distance, phiên bản video của Fréchet Inception Distance (FID). Các metric này so sánh thống kê đặc trưng của clip thật và clip được tạo, nên một con số phải đại diện cùng lúc cho chuyển động, danh tính và mức độ làm theo prompt. VBench chia chất lượng thành các khía cạnh riêng để developer xác định chính xác model còn yếu ở đâu; nhóm tác giả cũng thu thập nhãn về mức độ ưa thích của con người cho từng khía cạnh bằng cách so sánh từng cặp video từ các model khác nhau, nhằm xác nhận mỗi điểm số tự động xếp hạng model giống như người xem.
16 khía cạnh#
Các khía cạnh đánh giá của VBench được chia thành hai nhóm:
- Chất lượng video đánh giá clip theo nội dung của chính clip, không xét prompt: tính nhất quán của chủ thể, tính nhất quán của nền, hiện tượng nhấp nháy theo thời gian, độ mượt chuyển động và mức độ chuyển động để đánh giá chất lượng theo thời gian; cùng chất lượng thẩm mỹ và chất lượng hình ảnh của từng khung hình.
- Tính nhất quán giữa video và điều kiện đầu vào kiểm tra clip dựa trên prompt: loại đối tượng, nhiều đối tượng, hành động của con người, màu sắc, quan hệ không gian và bối cảnh đối với nội dung; phong cách hình ảnh và phong cách theo thời gian đối với phong cách; cùng tính nhất quán tổng thể.
Mức độ chuyển động giúp cân bằng các metric về tính nhất quán. Một video gần như tĩnh thường mặc nhiên đạt điểm cao về tính nhất quán của chủ thể và hiện tượng nhấp nháy theo thời gian, nên VBench cũng đo lượng chuyển động thực tế. Xem xét đồng thời các khía cạnh này giúp tránh tình trạng model đạt điểm cao chỉ bằng cách tạo ra những bức ảnh có chuyển động.
Cách chấm điểm từng khía cạnh#
Mỗi khía cạnh có bộ đánh giá riêng, thường là một model thị giác được huấn luyện trước và áp dụng lên các khung hình được lấy mẫu. Tính nhất quán của chủ thể được đánh giá bằng cách so sánh đặc trưng từ DINO, một vision transformer tự giám sát, giữa các khung hình; tính nhất quán của nền cũng được đánh giá tương tự bằng đặc trưng ảnh CLIP. Hiện tượng nhấp nháy theo thời gian được đo bằng chênh lệch pixel tuyệt đối trung bình giữa các khung hình liên tiếp, chỉ trên các clip gần như tĩnh được chọn bằng luồng quang học RAFT; luồng quang học cũng ước lượng chuyển động để tính mức độ chuyển động. Độ mượt chuyển động đo khả năng model nội suy khung hình AMT tái tạo các khung hình bị lược bỏ, vì chuyển động tự nhiên có thể dự đoán từ các khung hình lân cận. Chất lượng thẩm mỹ dùng bộ dự đoán thẩm mỹ LAION, còn chất lượng hình ảnh dùng model MUSIQ để phát hiện nhòe, nhiễu và cháy sáng.
Các khía cạnh nội dung chạy những model khác trên các khung hình. Các tiêu chí loại đối tượng, nhiều đối tượng, màu sắc và quan hệ không gian dùng model GRiT phát hiện đối tượng và tạo chú thích dày đặc để xác nhận các đối tượng được yêu cầu xuất hiện đúng màu sắc và bố cục. Hành động của con người dùng model UMT nhận diện hành động; bối cảnh so sánh prompt với chú thích hình ảnh từ Tag2Text; phong cách hình ảnh so sánh khung hình với mô tả phong cách bằng CLIP; còn phong cách theo thời gian và tính nhất quán tổng thể so sánh embedding video và văn bản từ ViCLIP.
Mỗi khía cạnh có một bộ prompt riêng gồm khoảng 100 prompt được viết để kiểm tra khía cạnh đó. Một bộ riêng gồm 800 prompt, với 100 prompt thuộc mỗi nhóm trong tám nhóm (động vật, kiến trúc, thực phẩm, con người, phong cách sống, thực vật, phong cảnh và phương tiện), cho phép phân tích kết quả theo chủ đề. Bảng xếp hạng chuẩn hóa từng khía cạnh rồi kết hợp chúng thành điểm chất lượng có trọng số, điểm ngữ nghĩa có trọng số và điểm tổng.
Sử dụng kết quả VBench#
Điểm trên bảng xếp hạng chỉ có thể so sánh khi các model được chạy trên bộ prompt tiêu chuẩn với cùng thiết lập lấy mẫu. VBench cũng có thể chấm điểm video tùy chỉnh nằm ngoài bộ này, nhưng chỉ trên sáu chiều không cần prompt tham chiếu: tính nhất quán của chủ thể, tính nhất quán của nền, độ mượt chuyển động, mức độ chuyển động, chất lượng thẩm mỹ và chất lượng hình ảnh.
Vì mỗi chiều đều được đo bằng một model khác, mọi điểm số đều kế thừa những điểm mù của model đó. Một detector bỏ sót các đối tượng nhỏ hoặc khác thường cũng sẽ đếm thiếu chúng trong video được tạo, còn model dự đoán thẩm mỹ phản ánh thị hiếu của dữ liệu dùng để huấn luyện model. Khi các bộ tạo cải thiện trên những chiều ban đầu tập trung vào diện mạo, cùng nhóm nghiên cứu đã mở rộng bộ đánh giá. VBench++, được công bố trên IEEE TPAMI, bổ sung đánh giá chuyển ảnh thành video, video dài và độ đáng tin cậy, bao gồm tính công bằng, thiên lệch và an toàn; VBench-2.0, phát hành vào tháng 3 năm 2025, chấm điểm 18 chiều về “tính trung thực nội tại”, được chia thành độ trung thực với con người, khả năng kiểm soát, tính sáng tạo, vật lý và kiến thức thường thức.
Các bước kiểm tra dựa trên detector vẫn hữu ích khi clip được tạo trở thành dữ liệu huấn luyện tổng hợp cho một model thị giác. Chạy Ultralytics YOLO26 ở chế độ predict trên từng khung hình được tạo sẽ xác nhận các đối tượng được yêu cầu thực sự xuất hiện trước khi cảnh quay được đưa vào tập dữ liệu huấn luyện, tương tự bước kiểm tra mà chiều lớp đối tượng của VBench thực hiện với GRiT.










