Video Understanding

Video Understanding는 시간 경과에 따른 시각적 데이터를 인지, 분석 및 해석하도록 설계된 computer vision (CV)의 고도화된 분야입니다. 정적 스냅샷을 개별적으로 처리하는 표준 image recognition과 달리, video understanding은 프레임 시퀀스를 분석하여 시간적 역학, 맥락 및 인과 관계를 파악합니다. 시간이라는 "제4의 차원"을 처리함으로써 AI 시스템은 단순한 객체 식별을 넘어 장면 내에서 펼쳐지는 행동, 이벤트 및 서사를 이해할 수 있습니다. 이 기능은 역동적인 실제 환경에서 안전하고 효과적으로 상호작용할 수 있는 지능형 시스템을 만드는 데 필수적입니다.

비디오 분석의 핵심 구성 요소#

비디오 콘텐츠를 성공적으로 해석하기 위해 모델은 공간적 특징(프레임 내에 무엇이 있는지)과 시간적 특징(사물이 어떻게 변하는지)이라는 두 가지 주요 유형의 정보를 합성해야 합니다. 이를 위해서는 종종 여러 신경망 전략을 결합하는 복잡한 아키텍처가 필요합니다.

• Convolutional Neural Networks (CNNs): 이 네트워크들은 일반적으로 공간적 백본 역할을 하며, 개별 프레임에서 모양, 텍스처, 객체 등의 시각적 특징을 추출합니다.
• Recurrent Neural Networks (RNNs): Long Short-Term Memory (LSTM) 유닛과 같은 아키텍처는 CNN이 추출한 특징 시퀀스를 처리하는 데 사용되며, 모델이 과거 프레임을 "기억"하고 미래 상태를 예측할 수 있게 합니다.
• Optical Flow: 많은 시스템이 광학 흐름 알고리즘을 활용하여 프레임 간 픽셀의 모션 벡터를 명시적으로 계산함으로써, 객체 외관과 무관한 속도 및 방향에 대한 중요한 데이터를 제공합니다.
• Vision Transformers (ViTs): 현대적 접근 방식은 attention mechanisms에 점점 더 의존하여 서로 다른 프레임이나 영역의 중요성을 가중치로 평가하며, 모델이 긴 비디오 스트림의 핵심 이벤트에 집중할 수 있도록 합니다.

실제 애플리케이션 사례#

시간적 맥락을 이해하는 능력은 다양한 산업 전반에 걸쳐 고도화된 자동화의 길을 열었습니다.

• Autonomous Vehicles: 자율주행차는 video understanding을 사용하여 보행자와 다른 차량의 궤적을 예측합니다. 모션 패턴을 분석함으로써 시스템은 잠재적 충돌을 예상하고 복잡한 기동을 수행할 수 있습니다.
• Action Recognition: 스포츠 분석 및 healthcare monitoring에서 시스템은 선수가 골을 넣거나 환자가 넘어지는 등의 특정 인간 활동을 식별하여 자동화된 인사이트나 경고를 제공합니다.
• Smart Retail: 매장에서는 anomaly detection을 위해 이러한 시스템을 활용하여 도난을 식별하거나 더 나은 매장 레이아웃 최적화를 위해 고객 유동인구 패턴을 분석합니다.
• 콘텐츠 조정: 대규모 미디어 플랫폼은 비디오 이해를 사용하여 부적절한 콘텐츠를 자동으로 표시하거나 주제별로 업로드된 항목을 분류함으로써 수동 검토의 필요성을 크게 줄입니다.

관련 개념 구분#

비디오 이해는 광범위한 기능을 포괄하지만, AI 분야의 여러 관련 용어와는 구별됩니다.

• Video Understanding vs. Object Tracking: 트래킹은 인스턴스(특정 차량 등)가 프레임 사이를 이동할 때 고유한 신원 유지에 초점을 맞춥니다. Video understanding은 해당 차량이 "주차 중"이거나 "과속 중"임을 인식하는 것과 같은 해당 차량의 행동을 해석합니다.
• Video Understanding vs. Pose Estimation: 포즈 추정은 단일 프레임 또는 시퀀스에서 신체 관절의 기하학적 구성을 감지합니다. Video understanding은 이 데이터를 사용하여 "손 흔들기"와 같은 움직임의 의미를 추론합니다.
• Video Understanding vs. Multimodal AI: Video understanding은 시각적 시퀀스에 초점을 맞추는 반면, 멀티모달 AI는 보다 종합적인 분석을 위해 비디오와 오디오, 텍스트 또는 센서 데이터를 결합합니다.

Ultralytics YOLO26을 이용한 비디오 분석 구현하기#

Video understanding의 기초적인 단계는 시간적 연속성을 확립하기 위해 객체를 안정적으로 감지하고 트래킹하는 것입니다. Ultralytics YOLO26 모델은 실시간 트래킹을 위한 최첨단 성능을 제공하며, 이는 더 수준 높은 행동 분석의 전 단계 역할을 합니다.

다음 예제는 Python API를 사용하여 비디오 소스에서 객체 추적을 수행하는 방법을 보여줍니다:

from ultralytics import YOLO

# Load the official YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Track objects in a video file with persistence to maintain IDs
# 'show=True' visualizes the tracking in real-time
results = model.track(source="path/to/video.mp4", persist=True, show=True)

도전 과제 및 향후 트렌드#

상당한 진전에도 불구하고, video understanding은 고화질 비디오 스트림의 방대한 데이터 양으로 인해 여전히 계산 비용이 많이 듭니다. 3D 컨볼루션 또는 temporal transformer에 대한 FLOPS 계산은 edge AI 기기에서 부담스러울 수 있습니다. 이를 해결하기 위해 연구원들은 Temporal Shift Module (TSM)과 같은 효율적인 아키텍처를 개발하고 NVIDIA TensorRT와 같은 최적화 도구를 활용하여 real-time inference를 가능하게 하고 있습니다.

향후 개발은 모델이 더 깊은 이해를 달성하기 위해 오디오 신호(예: 사이렌)와 텍스트 맥락을 통합하는 정교한 multimodal learning을 향해 나아가고 있습니다. Ultralytics Platform과 같은 플랫폼 또한 복잡한 비디오 데이터셋의 어노테이션과 관리를 간소화하도록 진화하고 있으며, 이를 통해 특정 시간적 작업을 위한 커스텀 모델을 더 쉽게 학습할 수 있게 합니다.