Video Understanding

비디오 이해는 기계가 시간이 지남에 따라 시각적 데이터를 인지하고 분석하며 해석할 수 있도록 하는 데 중점을 둔 컴퓨터 비전(CV)의 고도화된 분야입니다. 정적인 스냅샷을 개별적으로 처리하는 표준 이미지 인식과 달리, 비디오 이해는 프레임 시퀀스를 분석하여 시간적 역학, 맥락 및 인과 관계를 파악합니다. 시간이라는 '4차원'을 처리함으로써 AI 시스템은 단순히 객체를 식별하는 수준을 넘어 장면 내에서 전개되는 행동, 사건 및 서사를 이해할 수 있게 됩니다. 이러한 역량은 역동적인 실제 환경에서 안전하고 효과적으로 상호 작용할 수 있는 지능형 시스템을 구축하는 데 필수적입니다.

Link to this section비디오 분석의 핵심 구성 요소#

비디오 콘텐츠를 성공적으로 해석하기 위해 모델은 공간적 특징(프레임 내에 무엇이 있는지)과 시간적 특징(사물이 어떻게 변하는지)이라는 두 가지 주요 유형의 정보를 합성해야 합니다. 이를 위해서는 종종 여러 신경망 전략을 결합하는 복잡한 아키텍처가 필요합니다.

• 합성곱 신경망(CNN): 이 네트워크는 일반적으로 공간적 백본 역할을 하며 개별 프레임에서 모양, 질감 및 객체와 같은 시각적 특징을 추출합니다.
• 순환 신경망(RNN): 장단기 메모리(LSTM) 유닛과 같은 아키텍처는 CNN이 추출한 특징 시퀀스를 처리하는 데 사용되며, 모델이 과거 프레임을 '기억'하고 미래 상태를 예측할 수 있게 합니다.
• 광학 흐름(Optical Flow): 많은 시스템이 광학 흐름 알고리즘을 사용하여 프레임 간 픽셀의 이동 벡터를 명시적으로 계산하며, 이는 객체의 외관과 관계없이 속도와 방향에 관한 중요한 데이터를 제공합니다.
• 비전 트랜스포머(ViTs): 현대의 접근 방식은 점점 더 주의 집중 메커니즘(attention mechanisms)에 의존하여 프레임이나 영역의 중요도를 가중치화함으로써 모델이 긴 비디오 스트림에서 주요 사건에 집중할 수 있도록 합니다.

Link to this section실제 애플리케이션 사례#

시간적 맥락을 이해하는 능력은 다양한 산업 전반에 걸쳐 고도화된 자동화의 길을 열었습니다.

• 자율주행 차량: 자율주행 자동차는 비디오 이해를 사용하여 보행자와 다른 차량의 궤적을 예측합니다. 시스템은 움직임 패턴을 분석함으로써 잠재적인 충돌을 예상하고 복잡한 조작을 수행할 수 있습니다.
• 행동 인식: 스포츠 분석 및 의료 모니터링 분야에서 시스템은 특정 인간 활동(예: 선수가 골을 넣거나 환자가 넘어지는 상황)을 식별하여 자동화된 인사이트나 경고를 제공합니다.
• 스마트 리테일: 매장은 이러한 시스템을 이상 탐지에 활용하여 도난을 식별하거나 더 나은 매장 레이아웃 최적화를 위해 고객 유동 인구 패턴을 분석합니다.
• 콘텐츠 조정: 대규모 미디어 플랫폼은 비디오 이해를 사용하여 부적절한 콘텐츠를 자동으로 표시하거나 주제별로 업로드된 항목을 분류함으로써 수동 검토의 필요성을 크게 줄입니다.

Link to this section관련 개념 구분#

비디오 이해는 광범위한 기능을 포괄하지만, AI 분야의 여러 관련 용어와는 구별됩니다.

• 비디오 이해와 객체 추적의 비교: 추적은 인스턴스(예: 특정 차량)가 프레임 사이를 이동할 때 고유한 식별 정보를 유지하는 데 초점을 맞춥니다. 비디오 이해는 그 차량이 '주차' 중인지 혹은 '과속' 중인지 인식하는 것과 같이 해당 차량의 행동을 해석합니다.
• 비디오 이해와 포즈 추정의 비교: 포즈 추정은 단일 프레임 또는 시퀀스 내에서 신체 관절의 기하학적 구성을 감지합니다. 비디오 이해는 이 데이터를 사용하여 '손을 흔들어 인사하는 것'과 같이 움직임의 의미를 추론합니다.
• 비디오 이해와 멀티모달 AI의 비교: 비디오 이해는 시각적 시퀀스에 초점을 맞추는 반면, 멀티모달 AI는 비디오를 오디오, 텍스트 또는 센서 데이터와 결합하여 더욱 전체적인 분석을 수행합니다.

Link to this sectionYOLO26을 사용한 비디오 분석 구현#

비디오 이해의 기초적인 단계는 시간적 연속성을 확립하기 위해 객체를 강력하게 감지하고 추적하는 것입니다. Ultralytics YOLO26 모델은 실시간 추적을 위한 최첨단 성능을 제공하며, 이는 더 높은 수준의 행동 분석을 위한 선행 작업 역할을 합니다.

다음 예제는 Python API를 사용하여 비디오 소스에서 객체 추적을 수행하는 방법을 보여줍니다:

from ultralytics import YOLO

# Load the official YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Track objects in a video file with persistence to maintain IDs
# 'show=True' visualizes the tracking in real-time
results = model.track(source="path/to/video.mp4", persist=True, show=True)

Link to this section도전 과제 및 향후 트렌드#

상당한 발전에도 불구하고, 비디오 이해는 고화질 비디오 스트림의 방대한 데이터 양으로 인해 여전히 계산 비용이 많이 듭니다. 3D 합성곱이나 시간적 트랜스포머에 대한 FLOPS 계산은 엣지 AI 장치에 부담이 될 수 있습니다. 이를 해결하기 위해 연구자들은 Temporal Shift Module (TSM)과 같은 효율적인 아키텍처를 개발하고 NVIDIA TensorRT와 같은 최적화 도구를 활용하여 실시간 추론을 가능하게 하고 있습니다.

향후 개발은 모델이 더 깊은 이해를 달성하기 위해 오디오 신호(예: 사이렌 소리)와 텍스트 맥락을 통합하는 고도화된 멀티모달 학습 방향으로 나아가고 있습니다. Ultralytics Platform과 같은 플랫폼 또한 복잡한 비디오 데이터 세트의 주석 및 관리를 간소화하도록 진화하고 있으며, 이를 통해 특정 시간적 작업을 위한 맞춤형 모델 학습이 더욱 용이해지고 있습니다.