전체 영역 분할 (Panoptic Segmentation)

파노프틱 분할은 의미론적 분할과 인스턴스 분할이라는 두 가지 서로 다른 형태의 이미지 분석을 통합하는 포괄적인 컴퓨터 비전(CV) 작업입니다. 기존 방법들은 이러한 작업을 별도로 처리합니다—일반적으로 "하늘"이나 "잔디"와 같은 배경 영역을 분류하거나 "자동차"나 "사람"과 같은 특정 물체를 탐지하는 식입니다. 반면 파노프틱 분할은 이를 하나의 일관된 프레임워크로 결합합니다. 이 접근법은 이미지의 모든 픽셀에 고유한 값을 할당하여, 계산 가능한 객체(‘사물’이라 함)와 형태가 불분명한 배경 영역(‘배경 요소’라 함)을 구분하는 완전한 장면 이해를 제공합니다. 모든 픽셀이 계수되고 분류되도록 함으로써, 이 기술은 분리된 탐지 방법보다 인간의 시각적 인식을 더 가깝게 모방합니다.

핵심 개념: 물건 vs. 사물

파노프틱 분할을 완전히 이해하려면, 이 기술이 처리하는 시각 정보의 이분법을 파악하는 것이 도움이 된다. 이 작업은 시각적 세계를 두 가지 주요 범주로 나눕니다:

• 물체 범주: 이는 유사한 질감이나 재질의 무정형 영역으로, 계수할 수 없는 것들을 나타냅니다. 예로는 도로, 물, 잔디, 하늘, 벽 등이 있습니다. 전방위 분석에서 "도로"에 속하는 모든 픽셀은 단일 의미 영역으로 그룹화됩니다. 이는 "도로 segment "와 "도로 segment "를 구분하는 것이 일반적으로 무의미하기 때문입니다.
• 사물 범주: 이는 정의된 기하학적 구조와 경계를 가진 계수 가능한 객체들이다. 예시로는 보행자, 차량, 동물, 도구 등이 포함된다. 파노프틱 모델은 각 "사물"을 고유한 개체로 식별해야 하며, 옆에 서 있는 두 사람이 하나의 덩어리로 인식되지 않고 별개의 개체(예: "인물 A"와 "인물 B")로 구분되도록 보장해야 한다.

이 구별은 고급 인공 지능(AI) 시스템에 있어 매우 중요하며, 특정 객체와 상호작용하면서 동시에 환경을 탐색할 수 있게 합니다.

파노프티콘 구조의 작동 방식

현대적인 범시적 분할 아키텍처는 일반적으로 이미지에서 풍부한 특징 표현을 추출하기 위해 컨볼루션 신경망(CNN)이나 비전 트랜스포머(ViT)와 같은 강력한 딥러닝(DL) 백본을 활용합니다. 이 네트워크는 일반적으로 두 가지 분기 또는 "헤드"로 나뉩니다:

1. 의미적 헤드: 이 분기는 모든 픽셀에 대해 클래스 라벨을 예측하여 장면 내 "사물"의 밀도 맵을 생성합니다.
2. 인스턴스 헤드: 동시에, 이 분기는 객체 탐지와 유사한 기법을 사용하여 "사물"을 국소화하고 이를 위한 마스크를 생성합니다.

그런 다음 퓨전 모듈 또는 후처리 단계에서 이러한 출력 간의 충돌을 해결합니다. 예를 들어, 특정 픽셀이 "사람" 인스턴스에 속하는지 아니면 그 뒤의 "배경" 벽에 속하는지 결정하여 최종적으로 중첩되지 않는 범시적 분할 맵을 생성합니다.

실제 애플리케이션

파노프틱 세분화의 종합적 특성은 안전과 맥락이 최우선인 산업 분야에서 이를 필수불가결하게 만듭니다.

• 자율주행 차량: 자율주행 차량은 안전한 주행을 위해 파노프티콘 인식에 의존합니다. 의미론적 구성 요소는 주행 가능한 표면(도로)과 경계(인도)를 식별하는 반면, 인스턴스 구성 요소는 보행자 및 다른 차량과 같은 동적 장애물을 추적합니다. 이러한 통합된 시각은 차량의 계획 알고리즘이 복잡한 교통 관리시나리오에서 더 안전한 결정을 내리는 데 도움을 줍니다.
• 의료 영상 분석: 디지털 병리학에서 조직 샘플을 분석할 때는 일반적으로 조직 구조(물질)를 분할하는 동시에 특정 세포 유형이나 종양(대상)을 계수하고 측정해야 합니다. 이러한 세부적인 분석은 의사가 질병을 정확하게 정량화하고 진단하는 데 도움을 줍니다.
• 로봇공학: 서비스 로봇 가정이나 창고와 같은 비정형 환경에서 작동하는 서비스 로봇은 이동 가능한 바닥(배경)과 조작하거나 회피해야 하는 물체(인스턴스)를 구분할 수 있어야 합니다.

Ultralytics 활용한 세분화 구현

완전한 파노프틱 훈련은 복잡할 수 있지만, 개발자는 Ultralytics 사용하여 파노프틱 퍼즐의 핵심 구성 요소인 고정밀 인스턴스 분할을달성할 수 있습니다. 이 최첨단 모델은 실시간 성능을 제공하며 에지 배포에 최적화되어 있습니다.

다음 Python 사전 훈련된 분할 모델을 로드하고 추론을 실행하여 서로 다른 객체를 분리하는 방법을 보여줍니다:

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image to segment individual instances
# The model identifies 'things' and generates pixel-perfect masks
results = model("https://ultralytics.com/images/bus.jpg")

# Display the resulting image with overlaid segmentation masks
results[0].show()

훈련 데이터를 관리하고 주석 작업을 자동화하려는 팀을 위해 Ultralytics 데이터셋 관리 및 모델 훈련을 위한 도구 모음을 제공합니다. 분할 작업에는 고품질 데이터 주석이 필수적입니다. 모델이 효과적으로 학습하려면 정확한 픽셀 단위 레이블이 필요하기 때문입니다.

관련 용어 구분하기

세분화 유형 간의 미묘한 차이를 이해하는 것은 프로젝트에 적합한 모델을 선택하는 데 매우 중요합니다:

• 세미틱 세그멘테이션: 픽셀을 범주로 분류하는 데만 집중합니다. "이 픽셀은 어떤 클래스인가?"(예: 나무, 하늘)에 대한 답을 제공하지만, 동일한 클래스의 개별 객체를 분리할 수는 없습니다. 두 대의 자동차가 겹쳐져 있다면, 하나의 큰 "자동차" 블롭으로 나타납니다.
• 인스턴스 분할: 계산 가능한 객체만 탐지하고 마스크하는 데 집중합니다. "이 객체는 무엇인가?"라는 질문에 답하지만 일반적으로 배경 컨텍스트는 완전히 무시합니다.
• 파노프틱 분할: 두 가지를 결합합니다. 전체 이미지에 대해 "이 픽셀은 무엇인가?"와 "어느 객체 인스턴스에 속하는가?"라는 질문에 답하며, 분류되지 않은 픽셀이 없도록 보장합니다.

이러한 작업에 사용되는 데이터셋 형식을 더 자세히 살펴보려면, 분할 성능 측정을 위한 표준 벤치마크인 COCO 문서를 검토할 수 있습니다.