Optical Flow

옵티컬 플로우는 관찰자와 장면 간의 상대적 움직임으로 인해 시각적 장면에 있는 객체, 표면 및 가장자리가 겉보기에는 움직이는 패턴을 의미합니다. 컴퓨터 비전 분야에서 이 개념은 비디오 시퀀스 내 시간적 동역학을 이해하는 데 기본이 됩니다. 옵티컬 플로우 알고리즘은 두 개의 연속된 프레임 사이에서 픽셀의 변위를 분석하여 각 벡터가 특정 지점의 이동 방향과 크기를 나타내는 벡터 필드를 생성합니다. 이러한 저수준 시각 단서를 통해 인공지능 시스템은 이미지에 무엇이 있는지뿐만 아니라 어떻게 움직이는지도 인식할 수 있으며, 정적 이미지 분석과 동적 비디오 이해 사이의 간극을 해소합니다.

옵티컬 플로우의 핵심 메커니즘#

옵티컬 플로우 계산은 일반적으로 밝기 항상성 가정에 기반합니다. 이 가정은 객체가 움직이더라도 객체에 있는 픽셀의 강도가 한 프레임에서 다음 프레임으로 넘어갈 때 일정하게 유지된다고 봅니다. 알고리즘은 이 원리를 활용하여 다음 두 가지 주요 접근 방식으로 모션 벡터를 계산합니다.

• 희소 옵티컬 플로우: 이 방법은 특징 추출을 통해 감지된 모서리나 가장자리와 같은 특정한 일부 특징의 모션 벡터를 계산합니다. Lucas-Kanade 방법과 같은 알고리즘은 계산 효율성이 높으며, 특정 관심 지점을 추적하는 것으로 충분한 실시간 추론 작업에 적합합니다.
• 밀집 옵티컬 플로우: 이 접근 방식은 프레임의 모든 개별 픽셀에 대한 모션 벡터를 계산합니다. 계산량이 훨씬 많지만, 이미지 세그멘테이션 및 구조 분석과 같은 세밀한 작업에 필수적인 포괄적인 모션 맵을 제공합니다. 최신 딥러닝 아키텍처는 대규모 데이터셋에서 복잡한 모션 패턴을 학습하여 밀집 플로우 추정에서 기존의 수학적 방법보다 우수한 성능을 보이는 경우가 많습니다.

옵티컬 플로우와 객체 추적 비교#

옵티컬 플로우는 객체 추적과 함께 사용되는 경우가 많지만, 두 개념을 구분하는 것이 중요합니다. 옵티컬 플로우는 픽셀의 순간적인 움직임을 설명하는 저수준 연산이며, 본질적으로 객체의 정체성이나 지속성을 이해하지는 않습니다.

반면 객체 추적은 특정 개체의 위치를 파악하고 시간에 따라 일관된 ID를 할당하는 고수준 작업입니다. Ultralytics YOLO26에 통합된 것과 같은 고급 트래커는 일반적으로 객체 감지를 수행하여 객체를 찾은 다음, 옵티컬 플로우에서 얻은 경우도 있는 모션 단서를 사용하여 프레임 간 감지 결과를 연관시킵니다. 옵티컬 플로우는 "이 픽셀들이 지금 얼마나 빠르게 움직이고 있는가?"에 답하는 반면, 추적은 "자동차 #5는 어디로 갔는가?"에 답합니다.

실제 적용 사례#

픽셀 수준에서 모션을 추정하는 기능은 다양한 첨단 기술을 구현하는 기반이 됩니다.

• 자율주행 차량 및 로보틱스: 옵티컬 플로우는 비주얼 오도메트리에 사용되어 로봇이나 차량이 환경을 기준으로 자신의 움직임을 추정할 수 있도록 합니다. 또한 시각적 영역의 객체가 얼마나 빠르게 확대되거나 이동하는지 분석하여 깊이 추정과 장애물 회피를 지원합니다.
• 비디오 안정화: 카메라와 편집 소프트웨어는 플로우 벡터를 사용하여 의도하지 않은 카메라 흔들림을 감지합니다. 이러한 전역 모션을 보정함으로써 시스템은 영상을 디지털 방식으로 안정화할 수 있습니다. 이는 스마트폰과 액션 카메라 같은 최신 소비자 전자제품의 표준 기능입니다.
• 행동 인식: 스포츠 분석 및 보안 분야에서는 픽셀의 시간적 플로우를 분석하여 시스템이 복잡한 사람의 행동을 식별할 수 있습니다. 예를 들어 포즈 추정 모델에 플로우 데이터를 추가하면 팔다리 움직임의 속도를 기반으로 사람이 걷고 있는지 달리고 있는지를 구분할 수 있습니다.
• 비디오 압축: MPEG 비디오 코딩과 같은 표준은 모션 추정에 크게 의존합니다. 코덱은 모든 전체 프레임을 저장하는 대신 옵티컬 플로우(모션 벡터)와 프레임 간 차이(잔차)를 저장하여 스트리밍 및 저장에 필요한 파일 크기를 크게 줄입니다.

구현 예시#

다음 예제에서는 컴퓨터 비전 생태계의 표준 도구인 OpenCV 라이브러리를 사용하여 밀집 옵티컬 플로우를 계산하는 방법을 보여줍니다. 이 코드 스니펫은 Farneback 알고리즘을 사용하여 두 개의 연속된 프레임 사이에 플로우 맵을 생성합니다.

import cv2
import numpy as np

# Simulate two consecutive frames (replace with actual image paths)
frame1 = np.zeros((100, 100, 3), dtype=np.uint8)
frame2 = np.zeros((100, 100, 3), dtype=np.uint8)
cv2.rectangle(frame1, (20, 20), (40, 40), (255, 255, 255), -1)  # Object at pos 1
cv2.rectangle(frame2, (25, 25), (45, 45), (255, 255, 255), -1)  # Object moved

# Convert to grayscale for flow calculation
prvs = cv2.cvtColor(frame1, cv2.COLOR_BGR2GRAY)
next = cv2.cvtColor(frame2, cv2.COLOR_BGR2GRAY)

# Calculate dense optical flow
flow = cv2.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 3, 5, 1.2, 0)

# Compute magnitude and angle of 2D vectors
mag, ang = cv2.cartToPolar(flow[..., 0], flow[..., 1])

print(f"Max motion detected: {np.max(mag):.2f} pixels")

원시 픽셀 모션보다 객체의 지속성이 필요한 고수준 애플리케이션의 경우, 사용자는 Ultralytics YOLO11 및 YOLO26에서 제공하는 추적 모드를 고려해야 합니다. 이러한 모델은 모션 분석의 복잡성을 추상화하여 교통 모니터링부터 리테일 분석에 이르는 작업에서 강력한 객체 ID와 궤적을 기본으로 제공합니다.