Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

VBench

VBench chấm điểm video do AI tạo ra theo 16 khía cạnh, từ tính nhất quán của chủ thể đến mức độ tuân thủ prompt. Từng khía cạnh đo lường điều gì và cách đọc kết quả.

VBench là bộ benchmark cho tác vụ tạo video từ văn bản, chấm điểm các clip được tạo theo 16 khía cạnh riêng biệt về chất lượng thị giác và mức độ bám sát prompt. Các nhà nghiên cứu từ S-Lab của Đại học Công nghệ Nanyang và Shanghai AI Laboratory giới thiệu bộ benchmark này vào tháng 11 năm 2023 trong bài báo VBench: Bộ benchmark toàn diện cho mô hình tạo video, được chọn làm bài báo nổi bật tại CVPR 2024. Bảng xếp hạng công khai của VBench từ đó trở thành tài liệu tham khảo phổ biến để so sánh các model tạo video, từ LaVie, ModelScope, VideoCrafter và CogVideo trong bài báo ban đầu đến các hệ thống diffusion transformer ra đời sau.

Trước VBench, việc đánh giá chủ yếu dựa vào các metric phân phối đơn lẻ như Fréchet Video Distance, phiên bản video của Fréchet Inception Distance (FID). Các metric này so sánh thống kê đặc trưng của clip thật và clip được tạo, nên một con số phải đại diện cùng lúc cho chuyển động, danh tính và mức độ làm theo prompt. VBench chia chất lượng thành các khía cạnh riêng để developer xác định chính xác model còn yếu ở đâu; nhóm tác giả cũng thu thập nhãn về mức độ ưa thích của con người cho từng khía cạnh bằng cách so sánh từng cặp video từ các model khác nhau, nhằm xác nhận mỗi điểm số tự động xếp hạng model giống như người xem.

16 khía cạnh#

Các khía cạnh đánh giá của VBench được chia thành hai nhóm:

  • Chất lượng video đánh giá clip theo nội dung của chính clip, không xét prompt: tính nhất quán của chủ thể, tính nhất quán của nền, hiện tượng nhấp nháy theo thời gian, độ mượt chuyển động và mức độ chuyển động để đánh giá chất lượng theo thời gian; cùng chất lượng thẩm mỹ và chất lượng hình ảnh của từng khung hình.
  • Tính nhất quán giữa video và điều kiện đầu vào kiểm tra clip dựa trên prompt: loại đối tượng, nhiều đối tượng, hành động của con người, màu sắc, quan hệ không gian và bối cảnh đối với nội dung; phong cách hình ảnh và phong cách theo thời gian đối với phong cách; cùng tính nhất quán tổng thể.

Mức độ chuyển động giúp cân bằng các metric về tính nhất quán. Một video gần như tĩnh thường mặc nhiên đạt điểm cao về tính nhất quán của chủ thể và hiện tượng nhấp nháy theo thời gian, nên VBench cũng đo lượng chuyển động thực tế. Xem xét đồng thời các khía cạnh này giúp tránh tình trạng model đạt điểm cao chỉ bằng cách tạo ra những bức ảnh có chuyển động.

Cách chấm điểm từng khía cạnh#

Mỗi khía cạnh có bộ đánh giá riêng, thường là một model thị giác được huấn luyện trước và áp dụng lên các khung hình được lấy mẫu. Tính nhất quán của chủ thể được đánh giá bằng cách so sánh đặc trưng từ DINO, một vision transformer tự giám sát, giữa các khung hình; tính nhất quán của nền cũng được đánh giá tương tự bằng đặc trưng ảnh CLIP. Hiện tượng nhấp nháy theo thời gian được đo bằng chênh lệch pixel tuyệt đối trung bình giữa các khung hình liên tiếp, chỉ trên các clip gần như tĩnh được chọn bằng luồng quang học RAFT; luồng quang học cũng ước lượng chuyển động để tính mức độ chuyển động. Độ mượt chuyển động đo khả năng model nội suy khung hình AMT tái tạo các khung hình bị lược bỏ, vì chuyển động tự nhiên có thể dự đoán từ các khung hình lân cận. Chất lượng thẩm mỹ dùng bộ dự đoán thẩm mỹ LAION, còn chất lượng hình ảnh dùng model MUSIQ để phát hiện nhòe, nhiễu và cháy sáng.

Các khía cạnh nội dung chạy những model khác trên các khung hình. Các tiêu chí loại đối tượng, nhiều đối tượng, màu sắc và quan hệ không gian dùng model GRiT phát hiện đối tượng và tạo chú thích dày đặc để xác nhận các đối tượng được yêu cầu xuất hiện đúng màu sắc và bố cục. Hành động của con người dùng model UMT nhận diện hành động; bối cảnh so sánh prompt với chú thích hình ảnh từ Tag2Text; phong cách hình ảnh so sánh khung hình với mô tả phong cách bằng CLIP; còn phong cách theo thời gian và tính nhất quán tổng thể so sánh embedding video và văn bản từ ViCLIP.

Mỗi khía cạnh có một bộ prompt riêng gồm khoảng 100 prompt được viết để kiểm tra khía cạnh đó. Một bộ riêng gồm 800 prompt, với 100 prompt thuộc mỗi nhóm trong tám nhóm (động vật, kiến trúc, thực phẩm, con người, phong cách sống, thực vật, phong cảnh và phương tiện), cho phép phân tích kết quả theo chủ đề. Bảng xếp hạng chuẩn hóa từng khía cạnh rồi kết hợp chúng thành điểm chất lượng có trọng số, điểm ngữ nghĩa có trọng số và điểm tổng.

Sử dụng kết quả VBench#

Điểm trên bảng xếp hạng chỉ có thể so sánh khi các model được chạy trên bộ prompt tiêu chuẩn với cùng thiết lập lấy mẫu. VBench cũng có thể chấm điểm video tùy chỉnh nằm ngoài bộ này, nhưng chỉ trên sáu chiều không cần prompt tham chiếu: tính nhất quán của chủ thể, tính nhất quán của nền, độ mượt chuyển động, mức độ chuyển động, chất lượng thẩm mỹ và chất lượng hình ảnh.

Vì mỗi chiều đều được đo bằng một model khác, mọi điểm số đều kế thừa những điểm mù của model đó. Một detector bỏ sót các đối tượng nhỏ hoặc khác thường cũng sẽ đếm thiếu chúng trong video được tạo, còn model dự đoán thẩm mỹ phản ánh thị hiếu của dữ liệu dùng để huấn luyện model. Khi các bộ tạo cải thiện trên những chiều ban đầu tập trung vào diện mạo, cùng nhóm nghiên cứu đã mở rộng bộ đánh giá. VBench++, được công bố trên IEEE TPAMI, bổ sung đánh giá chuyển ảnh thành video, video dài và độ đáng tin cậy, bao gồm tính công bằng, thiên lệch và an toàn; VBench-2.0, phát hành vào tháng 3 năm 2025, chấm điểm 18 chiều về “tính trung thực nội tại”, được chia thành độ trung thực với con người, khả năng kiểm soát, tính sáng tạo, vật lý và kiến thức thường thức.

Các bước kiểm tra dựa trên detector vẫn hữu ích khi clip được tạo trở thành dữ liệu huấn luyện tổng hợp cho một model thị giác. Chạy Ultralytics YOLO26 ở chế độ predict trên từng khung hình được tạo sẽ xác nhận các đối tượng được yêu cầu thực sự xuất hiện trước khi cảnh quay được đưa vào tập dữ liệu huấn luyện, tương tự bước kiểm tra mà chiều lớp đối tượng của VBench thực hiện với GRiT.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning