Panoptic Segmentation

파노옵틱 세그멘테이션(Panoptic segmentation)은 이미지 분석의 두 가지 서로 다른 형태인 시맨틱 세그멘테이션(Semantic segmentation)과 인스턴스 세그멘테이션(Instance segmentation)을 통합하는 포괄적인 컴퓨터 비전 (CV) 작업입니다. 전통적인 방법들은 "하늘"이나 "잔디" 같은 배경 영역을 일반적으로 분류하거나 "자동차" 또는 "사람" 같은 특정 객체를 감지하는 등 이러한 작업을 별개로 처리하지만, 파노옵틱 세그멘테이션은 이들을 단일하고 응집력 있는 프레임워크로 결합합니다. 이 접근 방식은 이미지의 모든 픽셀에 고유한 값을 할당하여, 셀 수 있는 객체("things"로 지칭됨)와 형태가 없는 배경 영역("stuff"로 지칭됨)을 구별하는 완전한 장면 이해를 제공합니다. 모든 픽셀이 설명되고 분류되도록 보장함으로써, 이 기술은 고립된 감지 방법보다 인간의 시각 인식을 더 가깝게 모방합니다.

핵심 개념: Stuff vs. Things#

파놉틱 세그멘테이션을 완전히 이해하려면 이 기술이 처리하는 시각 정보의 이분법을 파악하는 것이 도움이 됩니다. 이 작업은 시각적 세계를 두 가지 주요 범주로 나눕니다.

• Stuff 카테고리: 이들은 셀 수 없는 유사한 텍스처나 재질의 형태가 없는 영역을 나타냅니다. 예시로는 도로, 물, 잔디, 하늘, 벽이 있습니다. 파노옵틱 분석에서 "도로 세그먼트 A"와 "도로 세그먼트 B"를 구별하는 것은 일반적으로 관련이 없기 때문에, "도로"에 속하는 모든 픽셀은 단일 시맨틱 영역으로 그룹화됩니다.
• Things 카테고리: 이들은 정의된 기하학적 구조와 경계를 가진 셀 수 있는 객체입니다. 예시로는 보행자, 차량, 동물, 도구가 있습니다. 파노옵틱 모델은 각 "thing"을 고유한 엔티티로 식별하여, 나란히 서 있는 두 사람이 병합된 덩어리가 아니라 별도의 인스턴스(예: "사람 A" 및 "사람 B")로 인식되도록 해야 합니다.

이러한 구별은 고급 인공지능 (AI) 시스템이 특정 객체와 상호 작용하는 동시에 환경을 탐색할 수 있도록 하는 데 매우 중요합니다.

파놉틱 아키텍처의 작동 원리#

최신 파노옵틱 세그멘테이션 아키텍처는 일반적으로 컨볼루션 신경망 (CNN) 또는 비전 트랜스포머 (ViT)와 같은 강력한 딥러닝 (DL) 백본을 사용하여 이미지에서 풍부한 특징 표현을 추출합니다. 네트워크는 일반적으로 두 개의 브랜치 또는 "헤드"로 나뉩니다.

1. 시맨틱 헤드: 이 브랜치는 모든 픽셀에 대한 클래스 라벨을 예측하여 장면 내 "stuff"의 밀집된 맵을 생성합니다.

2. 인스턴스 헤드: 동시에, 이 브랜치는 객체 검출과 유사한 기술을 사용하여 "things"를 지역화하고 이에 대한 마스크를 생성합니다.

그런 다음 융합 모듈이나 후처리 단계를 통해 이러한 출력 간의 충돌을 해결하여(예: 픽셀이 "사람" 인스턴스에 속하는지 아니면 그 뒤의 "배경" 벽에 속하는지 결정) 최종적으로 겹치지 않는 파노옵틱 세그멘테이션 맵을 생성합니다.

실제 애플리케이션 사례#

파놉틱 세그멘테이션의 전체론적 특성은 안전과 맥락이 가장 중요한 산업에서 필수적입니다.

• 자율주행 차량: 자율주행차는 안전하게 주행하기 위해 파노옵틱 인식에 의존합니다. 시맨틱 컴포넌트는 주행 가능 표면(도로)과 경계(보도)를 식별하고, 인스턴스 컴포넌트는 보행자 및 다른 차량과 같은 동적 장애물을 추적합니다. 이 통합된 뷰는 차량의 계획 알고리즘이 복잡한 교통 관리 시나리오에서 더 안전한 결정을 내리도록 돕습니다.
• 의료 영상 분석: 디지털 병리학에서 조직 샘플을 분석하려면 일반적인 조직 구조(stuff)를 세그멘테이션하는 동시에 특정 세포 유형이나 종양(things)을 세고 측정해야 하는 경우가 많습니다. 이 상세한 분석은 의사가 정확한 질병 정량화 및 진단을 내리는 데 도움을 줍니다.
• 로보틱스: 가정이나 창고와 같이 구조화되지 않은 환경에서 작동하는 서비스 로봇은 이동할 수 있는 바닥(배경)과 조작하거나 피해야 하는 객체(인스턴스)를 구별해야 합니다.

Ultralytics를 사용한 세그멘테이션 구현#

전체 파노옵틱 학습은 복잡할 수 있지만, 개발자는 파노옵틱 퍼즐의 핵심 구성 요소인 고정밀 인스턴스 세그멘테이션을 Ultralytics YOLO26을 사용하여 달성할 수 있습니다. 이 최첨단 모델은 실시간 성능을 제공하며 엣지 배포에 최적화되어 있습니다.

다음 Python 예제는 사전 훈련된 세그멘테이션 모델을 로드하고 추론을 실행하여 별도의 객체를 분리하는 방법을 보여줍니다.

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image to segment individual instances
# The model identifies 'things' and generates pixel-perfect masks
results = model("https://ultralytics.com/images/bus.jpg")

# Display the resulting image with overlaid segmentation masks
results[0].show()

학습 데이터를 관리하고 어노테이션 프로세스를 자동화하려는 팀을 위해 Ultralytics Platform은 데이터셋 관리 및 모델 학습을 위한 다양한 도구를 제공합니다. 고품질 데이터 어노테이션은 모델이 효과적으로 학습하기 위해 정확한 픽셀 수준의 라벨이 필요하므로 세그멘테이션 작업에 매우 중요합니다.

관련 용어 구분#

세그멘테이션 유형 간의 차이를 이해하는 것은 프로젝트에 적합한 모델을 선택하는 데 필수적입니다.

• 시맨틱 세그멘테이션: 픽셀을 카테고리로 분류하는 데만 초점을 맞춥니다. "이 픽셀은 어떤 클래스인가?"(예: 나무, 하늘)라는 질문에 답하지만 동일한 클래스의 개별 객체를 분리할 수 없습니다. 두 대의 자동차가 겹쳐 있으면 하나의 큰 "자동차" 덩어리로 나타납니다.
• 인스턴스 세그멘테이션: 셀 수 있는 객체를 감지하고 마스킹하는 데만 초점을 맞춥니다. "이것은 어떤 객체인가?"라는 질문에 답하지만 대개 배경 컨텍스트는 완전히 무시합니다.
• 파놉틱 세그멘테이션: 두 가지를 모두 결합합니다. 전체 이미지에 대해 "이 픽셀은 무엇인가?"와 "어떤 객체 인스턴스에 속하는가?"에 답하며, 분류되지 않는 픽셀이 없도록 보장합니다.

이러한 작업에 사용되는 데이터셋 형식에 대한 추가 탐색을 위해 세그멘테이션 성능을 측정하는 표준 벤치마크인 COCO 데이터셋 문서를 검토할 수 있습니다.