전체 영역 분할 (Panoptic Segmentation)

전체 화면 분할은 전체 장면을 포괄적이고 픽셀 수준으로 이해할 수 있도록 지원하는 고급 컴퓨터 비전(CV) 작업입니다. 시맨틱 분할과 인스턴스 분할이라는 두 가지 개별 작업을 통합합니다. 목표는 이미지의 모든 픽셀에 클래스 레이블(예: 자동차, 사람 또는 하늘)과 고유한 인스턴스 ID(개별 객체의 경우)를 할당하는 것입니다. 이를 통해 두 분할 방법만으로는 달성할 수 없는 더욱 전체적이고 자세한 출력을 생성하여 기계가 인간의 시각에 더 가까운 수준의 디테일로 시각적 환경을 인식할 수 있습니다. 이 용어는 FAIR 연구원들의 획기적인 2018년 논문 "전체 화면 분할"에서 소개되었습니다.

전체 화면 vs. 기타 분할 유형

Panoptic Segmentation을 완전히 이해하려면 구성 요소와 비교하는 것이 도움이 됩니다.

• 시맨틱 분할: 이 기술은 이미지의 모든 픽셀을 특정 범주로 분류합니다. 예를 들어 자동차에 속하는 모든 픽셀에 "자동차"로 레이블을 지정하고 도로의 모든 픽셀에 "도로"로 레이블을 지정합니다. 그러나 동일한 객체 클래스의 여러 인스턴스를 구별하지 않습니다. 서로 옆에 있는 두 대의 개별 자동차는 모두 동일한 "자동차" 픽셀 맵의 일부가 됩니다.
• 인스턴스 분할(Instance Segmentation): 이 방법은 개별 객체를 감지하고 분할하며, 이러한 객체는 종종 "사물"(예: 자동차, 보행자, 동물)이라고 합니다. 각 감지된 객체 인스턴스에 고유한 마스크를 할당합니다. 예를 들어, car_1, car_2, 그리고 pedestrian_1. 그러나 인스턴스 분할은 일반적으로 뚜렷한 모양이나 개수가 없는 무정형 배경 영역 또는 'stuff'(예: 하늘, 도로, 잔디, 벽)를 무시합니다.
• 전체 화면 분할: 이는 의미론적 분할과 인스턴스 분할의 강점을 결합합니다. 이미지의 모든 단일 픽셀을 분할하여 "사물"과 "재료" 모두에 대한 클래스 레이블을 제공합니다. 결정적으로 각 "사물"에 고유한 인스턴스 ID를 할당하여 완전하고 통합된 장면 해석을 제공합니다. 예를 들어, 전경 모델은 하늘과 도로에 레이블을 지정할 뿐만 아니라 식별하고 묘사합니다. car_1, car_2, 그리고 pedestrian_1 개별 개체로. 이러한 포괄적인 접근 방식은 고급에 필수적입니다. AI 애플리케이션.

전체 화면 분할(Panoptic Segmentation) 응용 분야

전체 영역 분할이 제공하는 자세한 장면 이해는 다양한 영역에서 매우 유용합니다.

• 자율 주행 차량: 자율 주행 자동차는 안전한 탐색을 위해 주변 환경을 완전히 이해해야 합니다. 파놉틱 분할을 통해 도로 및 보도("stuff")와 같은 비정형 표면을 식별하는 동시에 개별 자동차, 보행자 및 자전거 타는 사람("things")을 구별할 수 있습니다(겹치는 경우에도). Waymo와 같은 회사의 시스템에서 입증된 바와 같이 이러한 자세한 인식은 안전한 경로 계획 및 의사 결정에 매우 중요합니다. Ultralytics가 자동차 AI 솔루션에 어떻게 기여하는지 알아보십시오.
• 의료 영상 분석: MRI 또는 CT 스캔과 같은 의료 스캔을 분석할 때 Panoptic Segmentation은 다양한 조직 유형("stuff")을 구별하는 동시에 종양 또는 개별 세포("things")와 같은 구조의 특정 인스턴스를 식별할 수 있습니다. 이는 보다 정확한 진단을 지원하고 수술 계획에 도움이 되며 질병 진행을 모니터링하는 데 도움이 됩니다. 종양 감지를 위해 YOLO11 사용과 같은 관련 작업에 대해 읽어볼 수 있습니다.
• 로보틱스: 로봇이 환경과 효과적으로 상호 작용하려면 일반적인 레이아웃(벽, 바닥)과 조작할 수 있는 특정 물체(도구, 부품)를 모두 이해해야 합니다. 파노프틱 분할은 이러한 통합된 뷰를 제공하여 창고 및 공장과 같은 복잡한 설정에서 탐색 및 인간-로봇 상호 작용을 개선합니다. 로보틱스에서 AI의 역할에 대해 자세히 알아보세요.
• 증강 현실(AR): AR 애플리케이션은 파노라마 분할을 사용하여 가상 객체를 실제 세계와 매끄럽게 혼합합니다. 배경 표면과 전경 객체의 위치를 모두 파악함으로써 AR 시스템은 가상 콘텐츠를 현실적으로 배치하고 폐색을 올바르게 처리할 수 있습니다. 이는 AR 기술의 주요 발전으로 이어졌습니다.
• 위성 이미지 분석: 이 기술은 숲이나 수역("stuff")과 같은 넓은 지역 유형과 건물이나 차량("things")과 같은 개별 구조를 구별하는 데 사용됩니다. USGS와 같은 정부 기관은 이 데이터를 환경 모니터링 및 도시 계획에 사용합니다.

모델 및 구현

전체 화면 분할 모델은 일반적으로 PyTorch와 같은 딥 러닝 프레임워크를 사용하여 구축되고 COCO-Panoptic 및 Cityscapes와 같은 대규모 데이터 세트에서 학습됩니다. YOLO11과 같은 Ultralytics 모델은 객체 감지 및 인스턴스 분할과 같은 핵심 작업에서 최첨단 성능을 제공하지만, 이는 필수적인 구성 요소이며 전체 화면 분할은 다음 단계의 통합된 장면 이해를 나타냅니다. Google AI 및 Meta AI와 같은 기관의 연구가 계속됨에 따라 이러한 포괄적인 모델의 기능은 지속적으로 개선되어 더욱 정교하고 인식 가능한 AI 시스템을 위한 길을 열고 있습니다. Ultralytics HUB와 같은 플랫폼을 사용하여 관련 작업에 대한 모델을 관리하고 학습할 수 있습니다.