VBench

VBench là bộ benchmark để đánh giá video do AI tạo ra trên nhiều khía cạnh chất lượng và mức độ khớp với chỉ dẫn của người dùng. Thay vì chỉ hỏi liệu một clip có “trông đẹp” hay không, VBench xem xét chủ thể có giữ được tính nhất quán, chuyển động có trôi chảy và video có mô tả nội dung được yêu cầu hay không. Nhờ vậy, VBench hữu ích khi so sánh các hệ thống tạo video và tìm hiểu vì sao một clip hấp dẫn vẫn có thể không đáp ứng được yêu cầu thực tế.

VBench đo lường những gì#

Đánh giá tạo video từ văn bản đòi hỏi xem xét cả từng khung hình riêng lẻ lẫn những thay đổi theo thời gian. Khung đánh giá VBench ban đầu xác định 16 khía cạnh bao quát chất lượng hình ảnh và mức độ nhất quán với prompt đầu vào. Các khía cạnh này cung cấp hồ sơ đánh giá hữu ích hơn một điểm tổng thể duy nhất. (vchitect.github.io)

Có thể chia khái niệm này thành ba nhóm chính để dễ hiểu hơn:

• Chất lượng hình ảnh: Chất lượng hình ảnh xét các lỗi như nhòe hoặc nhiễu; chất lượng thẩm mỹ xét sức hấp dẫn thị giác và bố cục. Khung hình sắc nét chưa chắc đã hấp dẫn.
• Chất lượng theo thời gian: Tính nhất quán của chủ thể và hậu cảnh đánh giá diện mạo có ổn định hay không. Độ mượt của chuyển động xem xét tính liên tục của chuyển động, còn hiện tượng nhấp nháy theo thời gian đề cập đến những biến động không mong muốn giữa các khung hình.
• Mức độ khớp với prompt: Các kiểm tra nội dung xem xét đối tượng, hành động, màu sắc, bối cảnh và quan hệ không gian được yêu cầu—ví dụ, liệu một chú chó có thực sự chạy bên cạnh chiếc xe đạp thay vì chỉ xuất hiện ở đâu đó gần đó hay không.

Tính nhất quán của chủ thể liên quan đến duy trì danh tính: nhân vật cần vẫn dễ nhận ra khi di chuyển hoặc thay đổi góc nhìn. Đánh giá chuyển động có thể sử dụng luồng quang học, phương pháp ước tính chuyển động biểu kiến giữa các khung hình. Tuy nhiên, chuyển động mượt mà không đồng nghĩa với hành động hợp lý về mặt vật lý. (vchitect.github.io)

Quy trình đánh giá hoạt động như thế nào#

Một quy trình đánh giá tiêu chuẩn bắt đầu bằng một tập hợp prompt được xác định rõ. Model tạo sinh tạo video theo các prompt đó, rồi các bộ đánh giá chuyên biệt theo từng khía cạnh phân tích kết quả. Điều kiện kiểm thử nhất quán cho phép so sánh các model có ý nghĩa, thay vì so sánh những clip được lựa chọn có chủ đích. (github.com)

Không giống dataset benchmark, vốn cung cấp các ví dụ kiểm thử, VBench còn cung cấp quy trình đánh giá. Các bộ đánh giá tự động tạo ra những phép đo nhằm phản ánh một số khía cạnh trong nhận thức của con người, nhưng các phép đo đó chỉ là chỉ dấu đại diện—not bảo đảm sự hài lòng của người xem. (vchitect.github.io)

Để so sánh thực tế, hãy giữ prompt, số lượng mẫu, độ phân giải, thời lượng và thiết lập tạo sinh ở mức tương đương. Ghi lại seed ngẫu nhiên nếu có, đồng thời lưu ý các hạn chế được nêu trong hướng dẫn về khả năng tái lập của PyTorch. Hãy kiểm tra từng khía cạnh riêng: điểm chất lượng hình ảnh cao có thể che giấu khả năng làm theo chỉ dẫn yếu, còn các clip gần như tĩnh có thể trông nhất quán dù không tạo ra chuyển động được yêu cầu. (github.com)

VBench và các khái niệm liên quan#

VBench đánh giá nội dung được tạo sinh; đây không phải là model tạo video hay hệ thống phân tích video đa dụng.

Hiểu video diễn giải cảnh quay có sẵn, còn tạo sinh tạo ra cảnh quay mới. Tương tự, phát hiện đối tượng xác định và định vị đối tượng, nhưng phát hiện được một chiếc xe đạp không chứng minh rằng toàn bộ cảnh được tạo sinh tuân theo prompt.

Chế độ benchmark Ultralytics YOLO đo độ chính xác của tác vụ và tốc độ suy luận trên các định dạng export. Các phép đo triển khai đó giải đáp những câu hỏi khác với đánh giá chất lượng hình ảnh và chất lượng theo thời gian của VBench. Tương tự, các lệnh benchmark của vLLM đánh giá hiệu năng thực thi model ngôn ngữ, chứ không đánh giá chất lượng video được tạo sinh. (docs.ultralytics.com)

Bảng xếp hạng text-to-video tổng hợp kết quả benchmark, trong khi đấu trường đánh giá theo sở thích của con người thu thập nhận định của người xem. Không nên thay thế việc kiểm thử model theo từng ứng dụng bằng một trong hai hình thức này.

Ứng dụng thực tế#

Hai ứng dụng minh họa cho thấy những khác biệt này có ý nghĩa như thế nào:

• Sản xuất quảng cáo: Một nhóm sáng tạo đang so sánh các model tạo sinh để làm quảng cáo giày chạy bộ có thể xem xét tính nhất quán của chủ thể, độ mượt của chuyển động và mức độ khớp với prompt. Nếu hình dạng chiếc giày thay đổi trong một cú máy bám theo chủ thể, clip vốn được trau chuốt vẫn có thể không sử dụng được. Người đánh giá nên kiểm tra riêng nhận diện thương hiệu và chi tiết sản phẩm, thay vì cho rằng điểm benchmark cao đã bao quát các yếu tố này.
• Cảnh quay tổng hợp để huấn luyện: Một nhóm tạo video nhà kho có thể dùng các đánh giá chất lượng để sàng lọc clip có hậu cảnh không ổn định hoặc chuyển động phi thực tế. Tuy nhiên, dữ liệu tổng hợp trông có vẻ thuyết phục vẫn có thể thiếu những điều kiện thực tế quan trọng. Cần kiểm tra giá trị của dữ liệu đối với quá trình huấn luyện thông qua xác thực trên dữ liệu đại diện ở các bước tiếp theo, chứ không thể suy ra điều đó chỉ từ VBench.

Đây là những ứng dụng bổ trợ cho nhau của việc đánh giá chất lượng, không phải khẳng định rằng VBench chứng nhận mức độ phù hợp cho mục đích thương mại hoặc hiệu quả của dữ liệu huấn luyện.

Đánh giá thực tế và các hạn chế#

Quy trình sử dụng gói VBench được tài liệu hóa hỗ trợ đánh giá video tùy chỉnh theo các khía cạnh được chọn. Sau khi cài đặt các dependency cần thiết trong môi trường tương thích, ví dụ Bash này yêu cầu đường dẫn đến một video đã được tạo và đánh giá tính nhất quán của chủ thể: (pypi.org)

# Install the evaluation package.
python -m pip install vbench

# Supply an existing generated MP4 file.
read -r -p "Path to generated video: " video_path

# Evaluate one supported custom-input dimension.
vbench evaluate \
    --videos_path "$video_path" \
    --dimension subject_consistency \
    --mode custom_input

Thao tác này tạo ra đánh giá theo một khía cạnh cụ thể—không phải điểm số bảng xếp hạng đầy đủ. Đánh giá video tùy chỉnh chỉ hỗ trợ một tập con các khía cạnh ban đầu, vì vậy hãy dùng quy trình chuẩn để so sánh benchmark. (pypi.org)

Cuối cùng, hãy kết hợp các phép đo tự động với việc kiểm tra của con người và kiểm thử theo ứng dụng. Cảnh quay hấp dẫn, nhất quán vẫn có thể chứa nội dung gây hiểu lầm hoặc các rủi ro khác. Khung quản lý rủi ro AI của NIST cung cấp hướng dẫn rộng hơn để đánh giá những vấn đề đó ngoài chất lượng hình ảnh. (nist.gov)