컴퓨터 비전 애플리케이션의 작동 방식 살펴보기

컴퓨터 비전 모델의 역사를 살펴보면서, 컴퓨터 비전이 어떻게 발전해 오늘날의 고급 비전 모델에 이르게 되었는지 알아보았습니다. Ultralytics YOLOv8과 같은 최신 모델은 다양한 컴퓨터 비전 작업을 지원하며, 여러 흥미로운 애플리케이션에 활용되고 있습니다.

이 글에서는 컴퓨터 비전과 비전 모델의 기본 개념을 살펴보겠습니다. 이러한 기술이 어떻게 작동하는지와 다양한 산업 분야에서 어떻게 활용되는지 알아보겠습니다. 컴퓨터 비전 혁신은 어디에나 존재하며, 조용히 우리의 세상을 형성하고 있습니다. 하나씩 살펴보겠습니다!

컴퓨터 비전이란 무엇인가요?#

인공지능(AI)은 인간 지능의 일부를 모방하는 것을 목표로 하는 여러 기술을 포괄하는 용어입니다. 컴퓨터 비전은 AI의 하위 분야 중 하나입니다. 컴퓨터 비전은 기계가 주변 환경을 보고, 관찰하고, 이해할 수 있도록 눈을 제공하는 데 중점을 둡니다.

인간의 시각과 마찬가지로 컴퓨터 비전 솔루션은 객체를 구분하고, 거리를 계산하며, 움직임을 감지하는 것을 목표로 합니다. 하지만 보고 이해하는 데 도움이 되는 평생의 경험을 가진 인간과 달리, 컴퓨터는 방대한 양의 데이터, 고화질 카메라, 복잡한 알고리즘에 의존합니다.

그림 1. 인간의 시각과 컴퓨터 비전 비교.

컴퓨터 비전 시스템은 이미지와 동영상 같은 시각 데이터를 놀라운 속도와 정확도로 처리하고 분석할 수 있습니다. 방대한 양의 시각 정보를 빠르고 정확하게 분석하는 능력 덕분에 컴퓨터 비전은 제조부터 의료까지 다양한 산업 분야에서 강력한 도구로 활용됩니다.

비전 모델은 다양한 컴퓨터 비전 작업을 지원합니다#

컴퓨터 비전 모델은 모든 컴퓨터 비전 애플리케이션의 핵심입니다. 본질적으로 컴퓨터에 시각 정보를 해석하고 이해하는 능력을 제공하도록 설계된 딥러닝 기술 기반의 계산 알고리즘입니다. 비전 모델은 이미지 분류부터 객체 탐지까지 중요한 컴퓨터 비전 작업을 지원합니다. 이러한 작업과 사용 사례를 좀 더 자세히 살펴보겠습니다.

이미지 분류#

이미지 분류는 이미지를 사전 정의된 클래스 또는 카테고리로 분류하고 레이블을 지정하는 작업입니다. YOLOv8과 같은 비전 모델은 레이블이 지정된 대규모 데이터셋으로 학습할 수 있습니다. 학습 중에 모델은 각 클래스와 관련된 패턴과 특징을 인식하는 방법을 학습합니다. 학습이 완료되면 특징을 분석하고 학습한 패턴과 비교하여 새롭고 보지 못한 이미지의 카테고리를 예측할 수 있습니다.

그림 2. 이미지 분류 예시. (출처: towardsdatascience.com)

이미지 분류에는 여러 유형이 있습니다. 예를 들어 의료 이미지를 다룰 때 이진 분류를 사용하여 사진을 건강한 상태와 아픈 상태처럼 두 그룹으로 나눌 수 있습니다. 또 다른 유형은 다중 클래스 분류입니다. 이는 돼지, 염소, 소처럼 농장의 다양한 동물을 분류하는 등 이미지를 여러 그룹으로 분류하는 데 도움이 됩니다. 또는 동물을 그룹과 하위 그룹으로 분류하고 싶다고 가정해 보겠습니다. 동물을 포유류와 조류로 분류한 다음 사자, 호랑이, 독수리, 참새와 같은 종으로 세분화하려면 계층적 분류가 가장 적합합니다.

객체 감지#

객체 탐지는 컴퓨터 비전을 사용하여 이미지와 동영상 프레임에서 객체를 식별하고 위치를 찾는 과정입니다. 객체 주변에 바운딩 박스를 그리는 객체 위치 추정과 각 객체의 카테고리를 식별하는 객체 분류라는 두 가지 작업으로 구성됩니다. 바운딩 박스 어노테이션을 기반으로 비전 모델은 각 객체 카테고리에 특화된 패턴과 특징을 인식하고, 새롭고 보지 못한 이미지에서 이러한 객체의 존재와 위치를 예측하는 방법을 학습할 수 있습니다.

그림 3. 축구 경기장에서 선수를 탐지하는 데 사용된 YOLOv8 객체 탐지.

객체 탐지는 스포츠부터 해양 생물학까지 다양한 산업 분야에서 폭넓게 활용됩니다. 예를 들어 소매 분야에서 Amazon의 Just Walk Out 기술은 고객이 집어 드는 상품을 식별하여 결제를 자동화하는 데 객체 탐지를 사용합니다. 컴퓨터 비전과 센서 데이터의 결합을 통해 고객은 줄을 서서 기다리지 않고 상품을 집어 매장을 나갈 수 있습니다.

작동 방식을 좀 더 자세히 살펴보겠습니다.

• 천장에 설치된 카메라가 매장 안을 이동하는 고객을 촬영하고, 이 동영상 영상은 비전 모델을 통해 실시간으로 처리됩니다.
• 객체 탐지는 고객이 집어 장바구니에 넣는 정확한 상품을 감지하여 그에 맞게 가상 카트를 업데이트하는 데 사용됩니다.
• 선반의 무게 센서는 상품이 제거되거나 다시 놓이는 것을 감지하여 정확도를 높입니다.
• 고객이 매장을 나갈 때 객체 탐지와 얼굴 인식 기술을 사용하여 고객이 매장을 떠났는지 확인할 수 있으며, 신용카드와 같은 결제 정보를 사용해 자동으로 요금을 청구할 수 있습니다.

시맨틱 세그멘테이션과 인스턴스 세그멘테이션#

시맨틱 세그멘테이션과 인스턴스 세그멘테이션은 이미지를 의미 있는 세그먼트로 나누는 데 도움이 되는 컴퓨터 비전 작업입니다. 시맨틱 세그멘테이션은 의미에 따라 픽셀을 분류하고, 하나의 카테고리에 속한 모든 객체를 동일한 레이블을 가진 하나의 개체로 처리합니다. 이는 "하늘"이나 "바다"처럼 개수를 셀 수 없는 객체 또는 "나뭇잎"이나 "잔디"와 같은 군집에 레이블을 지정하는 데 적합합니다.

반면 인스턴스 세그멘테이션은 감지된 각 객체에 고유한 레이블을 할당하여 동일한 클래스에 속한 서로 다른 인스턴스를 구분할 수 있습니다. 객체의 수와 개별성이 중요한, 개수를 셀 수 있는 객체를 세그먼트화할 때 인스턴스 세그멘테이션을 사용할 수 있습니다. 이를 통해 더욱 정밀하게 식별하고 구분할 수 있습니다.

그림 4. 시맨틱 세그멘테이션과 인스턴스 세그멘테이션 예시.

자율주행 자동차와 관련된 예를 통해 시맨틱 세그멘테이션과 인스턴스 세그멘테이션의 차이를 더 명확하게 이해할 수 있습니다. 시맨틱 세그멘테이션은 장면의 내용을 이해해야 하는 작업에 적합하며, 자율주행 차량에서 횡단보도와 교통 표지판처럼 도로의 특징을 분류하는 데 사용할 수 있습니다. 반면 인스턴스 세그멘테이션은 자율주행 차량에서 개별 보행자, 차량, 장애물을 서로 구분하는 데 사용할 수 있습니다.

포즈 추정#

포즈 추정은 이미지나 동영상에서 객체 포즈의 주요 지점을 감지하고 추적하는 데 중점을 둔 컴퓨터 비전 작업입니다. 어깨와 무릎 같은 주요 지점을 포함하는 인간 포즈 추정에 가장 흔히 사용됩니다. 인간의 포즈를 추정하면 다양한 애플리케이션에 중요한 동작과 움직임을 이해하고 인식하는 데 도움이 됩니다.

그림 5. YOLOv8을 사용한 포즈 추정 예시.

포즈 추정은 스포츠에서 선수의 움직임을 분석하는 데 사용할 수 있습니다. NBA는 경기 중 선수의 움직임과 위치를 연구하기 위해 포즈 추정을 사용합니다. 어깨, 팔꿈치, 무릎, 발목과 같은 주요 지점을 추적함으로써 포즈 추정은 선수의 움직임에 대한 상세한 인사이트를 제공합니다. 이러한 인사이트는 코치가 더 나은 전략을 수립하고, 훈련 프로그램을 최적화하며, 경기 중 실시간으로 조정하는 데 도움이 됩니다. 또한 이 데이터는 선수의 피로도와 부상 위험을 모니터링하여 전반적인 선수 건강과 경기력을 향상하는 데 도움이 될 수 있습니다.

방향성 바운딩 박스 객체 탐지#

방향성 바운딩 박스 객체 탐지 (OBB)는 회전된 사각형을 사용하여 이미지에서 객체를 정밀하게 식별하고 위치를 찾습니다. 이미지 축에 맞춰 정렬되는 표준 바운딩 박스와 달리 OBB는 객체의 방향에 맞게 회전합니다. 따라서 완전히 수평이거나 수직이 아닌 객체에 특히 유용합니다. 복잡한 환경에서 겹침을 방지하면서 회전된 객체를 정확하게 지정하고 분리하는 데 효과적입니다.

그림 6. YOLOv8을 사용한 보트 항공 이미지의 방향성 바운딩 박스 탐지 예시.

해양 감시에서 선박을 식별하고 추적하는 것은 보안과 자원 관리에 매우 중요합니다. OBB 탐지는 선박이 빽빽하게 모여 있거나 다양한 각도로 배치된 경우에도 선박의 위치를 정밀하게 파악하는 데 사용할 수 있습니다. 이를 통해 항로를 모니터링하고, 해상 교통을 관리하며, 항만 운영을 최적화할 수 있습니다. 또한 허리케인이나 기름 유출과 같은 사건 이후 선박과 인프라의 피해를 신속하게 식별하고 평가하여 재난 대응을 지원할 수 있습니다.

객체 추적#

지금까지 이미지와 관련된 컴퓨터 비전 작업을 살펴보았습니다. 객체 추적은 동영상의 여러 프레임에 걸쳐 객체를 추적할 수 있는 컴퓨터 비전 작업입니다. 먼저 탐지 알고리즘을 사용하여 첫 번째 프레임에서 객체를 식별한 다음, 객체가 동영상 속에서 이동하는 동안 위치를 지속적으로 추적합니다. 객체 추적에는 추적 정확도를 유지하기 위해 객체 탐지, 특징 추출, 움직임 예측과 같은 기술이 사용됩니다.

그림 7. YOLOv8을 사용한 물고기 추적.

YOLOv8과 같은 비전 모델은 해양 생물학에서 물고기를 추적하는 데 사용할 수 있습니다. 연구자들은 수중 카메라를 사용하여 자연 서식지에 있는 물고기의 움직임과 행동을 모니터링할 수 있습니다. 이 과정은 첫 번째 프레임들에서 개별 물고기를 탐지한 다음 동영상 전체에서 물고기의 위치를 추적하는 방식으로 진행됩니다. 물고기를 추적하면 과학자들이 이동 패턴, 사회적 행동, 환경과의 상호작용을 이해하는 데 도움이 됩니다. 또한 물고기의 분포와 개체 수에 대한 인사이트를 제공하여 지속 가능한 어업 활동을 지원합니다.

컴퓨터 비전을 다시 살펴보며#

컴퓨터 비전은 우리가 기술을 사용하고 세상과 상호작용하는 방식을 적극적으로 변화시키고 있습니다. 컴퓨터 비전은 딥러닝 모델과 복잡한 알고리즘을 사용하여 이미지와 동영상을 이해함으로써 산업이 다양한 프로세스를 간소화하도록 지원합니다. 객체 탐지와 객체 추적 같은 컴퓨터 비전 작업을 통해 이전에는 상상하지 못했던 솔루션을 만들 수 있게 되었습니다. 컴퓨터 비전 기술이 계속 발전함에 따라 앞으로 더욱 혁신적인 애플리케이션이 등장할 것입니다!

함께 배우고 성장해 보세요! GitHub 저장소를 살펴보고 AI에 대한 저희의 기여를 확인해 보십시오. AI를 통해 자율주행 자동차와 농업 같은 산업을 어떻게 재정의하고 있는지도 확인해 보십시오. 🚀