광학 흐름

광학 흐름은 관찰자(카메라 등)와 장면 사이의 상대적인 움직임으로 인해 시각적 장면에서 물체, 표면, 가장자리의 움직임을 추정하는 컴퓨터 비전(CV) 의 핵심 개념입니다. 연속된 두 비디오 프레임 사이의 픽셀 또는 피처의 이동 방향과 속도를 설명하는 벡터 필드를 계산합니다. 이를 통해 사물이 '어떻게' 움직이는지에 대한 세부적이고 낮은 수준의 이해를 제공하며, 이는 많은 동적 장면 분석 작업의 기본이 됩니다.

광학 흐름의 작동 방식

대부분의 광학 흐름 알고리즘의 핵심 가정은 '밝기 불변성'으로, 물체의 특정 지점에 해당하는 픽셀의 강도가 짧은 시간 간격 동안 일정하게 유지된다고 가정합니다. 알고리즘은 이 밝기를 유지하는 변위를 찾음으로써 움직임을 추정할 수 있습니다. 광학 흐름을 계산하는 데는 두 가지 주요 접근 방식이 있습니다:

• 고밀도 광학 흐름: 이 방법은 이미지의 모든 단일 픽셀에 대해 모션 벡터를 계산합니다. 매우 상세한 모션 필드를 제공하므로 이미지 분할 및 복잡한 장면 역학 이해와 같은 작업에 유용합니다. 혼-슝크 방식이 대표적인 예이며, RAFT와 같은 최신 딥러닝 모델은 최첨단 성능을 제공합니다.
• 희소 광학 흐름: 이 방법은 모든 픽셀을 분석하는 대신 프레임 전체에서 모서리나 키포인트와 같은 "흥미로운" 특징의 희소 집합을 추적합니다. 루카스-카나데 방법은 잘 알려진 스파스 알고리즘입니다. 이 접근 방식은 계산 효율이 더 높으며 객체 추적과 같이 특정 지점의 움직임만 필요한 애플리케이션에 적합합니다.

광학 흐름 대 물체 추적

광학적 흐름과 물체 추적은 서로 연관되어 있지만 서로 다른 문제를 해결합니다.

• 광학 흐름은 픽셀의 낮은 수준의 움직임을 설명합니다. 출력은 두 프레임 사이의 움직임을 나타내는 벡터 집합입니다. 본질적으로 '물체'의 개념을 이해하거나 시간이 지나도 그 정체성을 유지하지 않습니다.
• 객체 추적 은 특정 물체를 찾아 여러 프레임에 걸쳐 그 경로를 따라가며 일관된 ID를 할당하는 데 중점을 둔 상위 수준의 작업입니다. 추적 알고리즘은 종종 광학적 흐름과 같은 기술을 입력으로 사용하여 Ultralytics YOLO 모델과 같은 객체 감지 모델에서 객체가 식별된 후 다음 프레임에서 객체의 위치를 예측합니다. 이는 Ultralytics의 객체 추적 모드에서 실제로 작동하는 것을 볼 수 있습니다.

간단히 말해, 광학 흐름은 "픽셀이 어떻게 움직이는가?"라는 질문에 답하고 오브젝트 추적은 "저 차가 어디로 갔나?"라는 질문에 답합니다.

실제 애플리케이션

광학적 흐름은 비디오에서 움직임을 이해해야 하는 많은 애플리케이션에서 매우 중요합니다:

• 자율 시스템: 자율 주행 차량과 로봇은 시각적 주행 거리 측정(자체 움직임 추정), 장애물 감지, 주변 물체의 상대적 움직임 파악을 위해 광학적 흐름을 사용합니다. 예를 들어, 자율 주행 차량이 도로에 대한 속도를 추정하거나 주변 차량을 추적하는 데 도움이 됩니다. 웨이모와 같은 회사는 모션 인식에 크게 의존합니다. 자세한 내용은 자율 주행 자동차의 AI를 살펴보세요.
• 비디오 압축: MPEG와 같은 표준은 광학적 흐름과 유사한 모션 추정 기술을 사용하여 이전 프레임을 기반으로 후속 프레임을 예측합니다. 모션 벡터와 예측 오류(잔차)만 인코딩함으로써 상당한 데이터 압축을 달성할 수 있습니다.
• 동작 인식: 포즈 추정의 핵심 부분인 동영상에서 사람의 동작을 이해하려면 광학적 흐름에서 파생된 동작 패턴을 분석해야 하는 경우가 많습니다. 이는 스포츠 분석 및 스마트 피트니스 기술 분야의 애플리케이션에 매우 중요합니다.
• 동영상 안정화: 디지털 이미지 안정화 기술은 광학적 흐름을 사용하여 카메라의 흔들림을 추정하고 이를 보정하여 보다 부드러운 동영상을 제작할 수 있습니다. 이 기술은 최신 스마트폰과 카메라에서 흔히 볼 수 있습니다.
• 의료 영상 분석: 심초음파에서 심장 근육의 움직임이나 시술 중 장기 변형과 같은 조직의 움직임을 추적하는 데 사용됩니다. 저널과 같은 리소스 보기 방사선학: 인공 지능 와 같은 리소스를 참조하세요.
• 로봇 공학: 로봇이 주변 환경의 움직임에 대한 시각적 피드백을 기반으로 탐색하고, 물체와 상호 작용하며, 작업을 수행할 수 있도록 지원합니다. ROS와 같은 시스템과의 통합에는 동작 분석이 포함되는 경우가 많습니다.

도구 및 구현

OpenCV와 같은 라이브러리는 고전적인 광학 흐름 알고리즘의 구현을 제공하며, 해당 문서에는 자세한 OpenCV 광학 흐름 튜토리얼이 포함되어 있습니다. 딥 러닝 접근법의 경우, PyTorch ( PyTorch 공식 사이트 방문) 및 TensorFlow ( TensorFlow 공식 사이트 방문) 같은 프레임워크가 일반적으로 사용되며, Hugging Face 같은 플랫폼을 통해 제공되는 사전 훈련된 모델을 활용하는 경우가 많습니다. 이러한 모델을 훈련하려면 FlyingThings3D 또는 Sintel 데이터 세트와 같은 실측 데이터 흐름 정보가 포함된 대규모 비디오 데이터 세트가 필요합니다. Ultralytics HUB와 같은 플랫폼은 관련 컴퓨터 비전 작업을 위한 데이터 세트 및 모델 훈련 워크플로우를 관리하는 데 도움이 될 수 있습니다.