파놉틱 세분화

파놉틱 분할은 전체 장면에 대한 포괄적인 픽셀 수준의 이해를 제공하는 고급 컴퓨터 비전(CV) 작업입니다. 이 작업은 시맨틱 분할 과 인스턴스 분할이라는 두 가지 개별 작업을 통합합니다. 목표는 이미지의 모든 픽셀에 클래스 레이블(자동차, 사람, 하늘 등)과 고유한 객체의 경우 고유한 인스턴스 ID를 할당하는 것입니다. 이를 통해 두 가지 세분화 방법만으로는 얻을 수 없는 보다 총체적이고 상세한 결과물을 생성하여 기계가 인간의 시각에 가까운 수준의 디테일로 시각 환경을 인식할 수 있도록 합니다. 이 용어는 FAIR의 연구원들이 2018년 발표한 획기적인 논문 '파놉틱 세분화 '에서 소개되었습니다.

파놉틱과 다른 세분화 유형 비교

파노픽 세분화를 완전히 이해하려면 파노픽을 구성하는 부분과 비교하면 도움이 됩니다:

• 시맨틱 세분화: 이 기술은 이미지의 모든 픽셀을 특정 카테고리로 분류합니다. 예를 들어 자동차에 속하는 모든 픽셀을 "자동차"로, 도로의 모든 픽셀을 "도로"로 분류합니다. 그러나 동일한 객체 클래스의 다른 인스턴스는 구분하지 않습니다. 서로 옆에 있는 두 개의 개별 자동차는 모두 동일한 "자동차" 픽셀 맵의 일부가 됩니다.
• 인스턴스 세분화: 이 방법은 흔히 '사물'(예: 자동차, 보행자, 동물)이라고 하는 개별 객체를 감지하고 분할합니다. 감지된 각 객체 인스턴스에 다음과 같은 고유 마스크를 할당합니다. car_1, car_2및 pedestrian_1. 그러나 인스턴스 세분화는 일반적으로 뚜렷한 모양이나 개수가 없는 무정형 배경 영역 또는 '물건'(예: 하늘, 도로, 잔디, 벽)은 무시합니다.
• 파놉틱 세분화: 이는 시맨틱 분할과 인스턴스 분할의 강점을 결합한 것입니다. 이미지의 모든 픽셀을 세분화하여 "사물"과 "물건" 모두에 대한 클래스 레이블을 제공합니다. 결정적으로, 각 '사물'에 고유한 인스턴스 ID를 할당하여 완전하고 통합된 장면 해석을 제공합니다. 예를 들어, 파노라마 모델은 하늘과 도로에 레이블을 지정할 뿐만 아니라 다음을 식별하고 묘사합니다. car_1, car_2및 pedestrian_1 를 별도의 엔티티로 간주합니다. 이러한 포괄적인 접근 방식은 고급 AI 애플리케이션.

파놉틱 세분화의 애플리케이션

파놉틱 세분화가 제공하는 상세한 장면 이해는 다양한 영역에서 매우 유용합니다:

• 자율주행 차량: 자율주행차는 안전한 주행을 위해 주변 환경을 완벽하게 이해해야 합니다. 파놉틱 세분화를 통해 도로와 인도와 같은 무정형 표면('사물')을 식별하는 동시에 개별 자동차, 보행자, 자전거('사물')가 겹치는 경우에도 구분할 수 있습니다. Waymo와 같은 회사의 시스템에서 볼 수 있듯이 이러한 세부적인 인식은 안전한 경로 계획과 의사 결정에 매우 중요합니다. 자동차 솔루션에서 울트라리틱스가 AI에 어떻게 기여하는지 알아보세요.
• 의료 이미지 분석: MRI나 CT 스캔과 같은 의료 스캔을 분석할 때 파놉틱 분할은 다양한 조직 유형('사물')을 구분하는 동시에 종양이나 개별 세포와 같은 구조의 특정 사례('사물')도 식별할 수 있습니다. 이를 통해 보다 정확한 진단을 내리고 수술 계획을 세우며 질병의 진행 상황을 모니터링하는 데 도움이 됩니다. 종양 탐지를 위한 YOLO11 사용과 같은 관련 작업에 대해 읽어보실 수 있습니다.
• 로봇 공학: 로봇이 주변 환경과 효과적으로 상호 작용하려면 일반적인 레이아웃(벽, 바닥)과 조작할 수 있는 특정 물체(도구, 부품)를 모두 이해해야 합니다. 파놉틱 세그멘테이션은 이러한 통합된 뷰를 제공하여 창고나 공장과 같은 복잡한 환경에서 탐색과 인간과 로봇의 상호 작용을 개선합니다. 로봇 공학에서 AI의 역할에 대해 자세히 알아보세요.
• 증강 현실(AR): AR 애플리케이션은 파노픽 분할을 사용하여 가상 객체를 현실 세계와 매끄럽게 혼합합니다. AR 시스템은 배경 표면과 전경 오브젝트의 위치를 모두 이해함으로써 가상 콘텐츠를 사실적으로 배치하고 오클루전을 올바르게 처리할 수 있습니다. 이를 통해 AR 기술은 크게 발전했습니다.
• 위성 이미지 분석: 이 기술은 상세한 토지 커버 매핑에 사용되며, 숲이나 수역과 같은 넓은 지역 유형("물건")과 건물이나 차량과 같은 개별 구조물("사물")을 구분하는 데 사용됩니다. USGS와 같은 정부 기관에서는 환경 모니터링과 도시 계획에 이 데이터를 사용합니다.

모델 및 구현

파놉틱 세그멘테이션 모델은 일반적으로 PyTorch와 같은 딥 러닝 프레임워크를 사용해 구축되며 COCO-Panoptic 및 Cityscapes와 같은 대규모 데이터 세트에 대해 학습됩니다. YOLO11과 같은 울트라트래픽 모델은 필수 구성 요소인 객체 감지 및 인스턴스 세분화와 같은 핵심 작업에서 최첨단 성능을 제공하지만, 파놉틱 세분화는 다음 단계의 통합 장면 이해를 나타냅니다. Google AI 및 Meta AI와 같은 기관의 연구가 계속됨에 따라 이러한 종합적인 모델의 기능은 지속적으로 개선되고 있으며, 더욱 정교하고 인지적인 AI 시스템을 위한 기반을 마련하고 있습니다. Ultralytics HUB와 같은 플랫폼을 사용하여 관련 작업을 위한 모델을 관리하고 훈련할 수 있습니다.