YOLO 라이선스 받기
Ultralytics 용어집으로 돌아가기

VBench

VBench는 피사체 일관성부터 프롬프트 충실도까지 16개 항목으로 AI 생성 비디오를 평가합니다. 각 항목의 측정 내용과 결과 해석 방법을 알아보세요.

VBench는 생성된 클립의 시각적 품질과 프롬프트 충실도를 16개 개별 항목으로 평가하는 텍스트-비디오 생성 벤치마크 모음입니다. 난양공과대학교 S-Lab과 상하이 AI 연구소의 연구진은 2023년 11월 논문 VBench: 비디오 생성 모델을 위한 종합 벤치마크 모음에서 이를 소개했으며, 해당 논문은 CVPR 2024 하이라이트 논문으로 선정되었습니다. 이후 공개 리더보드는 원 논문의 LaVie, ModelScope, VideoCrafter, CogVideo부터 최신 확산 트랜스포머 시스템까지 비디오 생성 모델을 비교하는 대표적인 기준점이 되었습니다.

VBench 이전에는 평가가 프레셰 인셉션 거리 (FID)의 비디오 버전인 프레셰 비디오 거리와 같은 단일 분포 메트릭에 치중했습니다. 이 메트릭은 실제 클립과 생성된 클립의 특징 통계를 비교하므로 하나의 숫자가 움직임, 정체성 및 프롬프트 준수 여부를 모두 대표해야 합니다. VBench는 품질을 여러 항목으로 나눠 개발자가 모델의 부족한 점을 정확히 파악하도록 합니다. 저자들은 각 항목에 대해 인간 선호도 어노테이션도 수집하고 서로 다른 모델이 생성한 비디오 쌍을 비교해 각 자동 점수가 시청자의 평가와 같은 순서로 모델을 매기는지 확인했습니다.

16개 평가 차원#

VBench 평가 차원은 두 그룹으로 나뉩니다.

  • 비디오 품질은 프롬프트와 무관하게 클립 자체를 평가합니다. 시간에 따른 품질에는 피사체 일관성, 배경 일관성, 시간적 깜박임, 움직임 부드러움 및 동적 정도가 포함되고, 각 프레임의 품질에는 미적 품질과 영상 품질이 포함됩니다.
  • 비디오-조건 일관성은 클립과 프롬프트를 비교합니다. 콘텐츠 항목에는 객체 클래스, 여러 객체, 사람의 동작, 색상, 공간 관계 및 장면이 포함됩니다. 스타일 항목에는 외관 스타일과 시간적 스타일이 포함되며, 전반적인 일관성도 평가합니다.

동적 정도는 일관성 지표를 보완합니다. 거의 정적인 클립은 주제 일관성과 시간적 깜박임에서 기본적으로 높은 점수를 얻을 수 있으므로, VBench는 실제 움직임의 양도 측정합니다. 이러한 차원을 함께 살펴보면 모델이 움직이는 사진을 생성해 높은 점수를 얻는 일을 방지할 수 있습니다.

각 차원의 점수 산정 방식#

각 항목에는 대개 샘플링한 프레임에 적용하는 사전 학습된 비전 모델인 자체 평가기가 있습니다. 피사체 일관성은 자기 지도 학습 비전 트랜스포머인 DINO의 프레임 간 특징을 비교하고, 배경 일관성도 CLIP 이미지 특징을 사용해 같은 방식으로 평가합니다. 시간적 깜박임은 연속 프레임 간 평균 절대 픽셀 차이이며, 광학 흐름 RAFT를 사용해 선택한 거의 정지된 클립에서만 측정합니다. RAFT는 동적 정도를 평가할 때도 움직임을 추정합니다. 자연스러운 움직임은 주변 프레임으로 예측할 수 있으므로 움직임 부드러움은 프레임 보간 모델 AMT가 누락 프레임을 얼마나 잘 복원하는지 확인합니다. 미적 품질에는 LAION 미적 예측기를 사용하고, 영상 품질에는 MUSIQ 모델을 사용해 흐림, 노이즈 및 과다 노출을 감지합니다.

콘텐츠 항목에서는 프레임에 다른 모델을 적용합니다. 객체 클래스, 여러 객체, 색상 및 공간 관계는 GRiT 객체 검출 및 고밀도 캡셔닝 모델을 사용해 요청한 객체가 올바른 색상과 배치로 나타나는지 확인합니다. 사람의 동작에는 UMT 동작 인식 모델을 사용하고, 장면은 Tag2Text의 이미지 캡션과 프롬프트를 비교합니다. 외관 스타일은 CLIP을 사용해 프레임과 스타일 설명을 비교하며, 시간적 스타일 및 전반적인 일관성은 ViCLIP의 비디오 및 텍스트 임베딩을 비교합니다.

각 항목은 해당 항목을 평가하도록 작성된 약 100개 프롬프트로 구성된 프롬프트 세트를 사용합니다. 별도의 프롬프트 800개 세트는 동물, 건축, 음식, 사람, 라이프스타일, 식물, 풍경 및 차량의 여덟 가지 카테고리에 각각 100개씩 포함해 주제별 결과 분석에 사용됩니다. 리더보드는 각 항목을 정규화한 후 가중 품질 점수, 가중 의미 점수 및 총점으로 결합합니다.

VBench 결과 활용하기#

리더보드 점수는 동일한 샘플링 설정으로 표준 프롬프트 모음에서 모델을 실행한 경우에만 비교할 수 있습니다. VBench는 해당 모음에 포함되지 않은 사용자 지정 동영상도 평가할 수 있지만, 참조 프롬프트가 필요하지 않은 다음 여섯 가지 차원에 한해서만 가능합니다. 주체 일관성, 배경 일관성, 동작 부드러움, 동적 정도, 미적 품질, 영상 품질입니다.

각 차원은 다른 모델로 측정되므로 모든 점수에는 해당 모델의 사각지대가 반영됩니다. 작은 물체나 특이한 물체를 놓치는 검출기는 생성된 동영상에서도 해당 물체의 수를 적게 계산하며, 미적 품질 예측기는 학습 데이터의 취향을 반영합니다. 생성 모델이 기존의 외관 중심 차원에서 개선되자 같은 연구진은 평가 모음을 확장했습니다. IEEE TPAMI에 발표된 VBench++는 공정성, 편향, 안전성을 다루는 이미지-동영상 변환, 장편 동영상, 신뢰성 평가를 추가했으며, 2025년 3월에 출시된 VBench-2.0은 인간 충실도, 제어 가능성, 창의성, 물리학, 상식으로 분류되는 '내재적 충실도'의 18개 차원을 평가합니다.

생성된 클립이 비전 모델의 합성 학습 데이터가 될 때도 검출기 기반 검사를 그대로 적용할 수 있습니다. 각 생성 프레임에서 예측 모드로 Ultralytics YOLO26을 실행하면 요청한 객체가 실제로 나타나는지 확인한 뒤 영상을 학습 세트에 포함할 수 있습니다. 이는 VBench의 객체 클래스 차원이 GRiT를 사용해 수행하는 검사와 같습니다.

솔루션 살펴보기

스포츠 분야의 컴퓨터 비전

스포츠 분야의 컴퓨터 비전

Ultralytics YOLO가 선수 및 공 추적, 경기력 분석, 코칭 인사이트, 선수 재활을 통해 스포츠 비전을 구현하는 방법을 알아보세요.
자세히 알아보기
항공 이미지 컴퓨터 비전

항공 이미지 컴퓨터 비전

Ultralytics YOLO를 활용해 드론 및 항공 이미지를 농업, 양식업, 보전, 지리 공간 분석을 위한 실시간 인사이트로 전환하세요.
자세히 알아보기
항공우주 분야의 컴퓨터 비전

항공우주 분야의 컴퓨터 비전

Ultralytics YOLO를 활용해 항공기 검사, 활주로 FOD 감지, 공항 지상 운영, 복합재 결함 감지 등 항공우주 분야에 컴퓨터 비전을 적용하세요.
자세히 알아보기
보안 분야의 컴퓨터 비전

보안 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 모든 시설을 보호하세요. Vision AI는 경계 모니터링, 위협 감지, 번호판 인식, 작업장 안전을 지원합니다.
자세히 알아보기
로보틱스 분야의 컴퓨터 비전

로보틱스 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 더 스마트한 머신을 구현하세요. 로보틱스 분야의 Vision AI는 자율 주행, 인식, 객체 추적, 실시간 제어를 지원합니다.
자세히 알아보기
물류 분야의 컴퓨터 비전

물류 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 물류를 간소화하세요. 비전 AI는 화물 검사, 분류, 차량 추적, 실시간 창고 안전 모니터링을 지원합니다.
자세히 알아보기
리테일 분야의 컴퓨터 비전

리테일 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 리테일의 새로운 가능성을 열어 보세요. 비전 AI는 재고 추적, 선반 모니터링, 대기열 관리, 더욱 심층적인 고객 인사이트를 지원합니다.
자세히 알아보기
의료 분야의 컴퓨터 비전

의료 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 의료 솔루션을 구축하세요. 의료 분야의 비전 AI는 의료 영상 판독을 가속화하고, 진단을 개선하며, 환자 모니터링을 지원합니다.
자세히 알아보기
제조 분야의 컴퓨터 비전

제조 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 제조 공정을 최적화하세요. 비전 AI는 품질 관리, 결함 탐지, PPE 규정 준수, 조립 라인 자동화를 지원합니다.
자세히 알아보기
자동차 분야의 컴퓨터 비전

자동차 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 자동차 분야에 컴퓨터 비전을 적용하세요. 비전 AI는 도로 안전, 운전자 지원, 차량 자동화를 개선해 더 스마트한 도로를 구현합니다.
자세히 알아보기
농업 분야의 컴퓨터 비전

농업 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 스마트 농업에 비전 AI를 도입하세요. 작물 모니터링, 가축 추적, 정밀 농업을 지원하여 더 높은 수확량과 더 스마트한 농업을 실현합니다.
자세히 알아보기

함께 AI의 미래를 만들어 가세요!

머신러닝의 미래와 함께 여정을 시작하세요