전체 영역 분할 (Panoptic Segmentation)

파놉틱 세그멘테이션은 통합된 컴퓨터 비전(CV) 작업으로, 의미론적 세분화라는 서로 다른 두 가지 접근 방식의 시맨틱세분화와인스턴스 세분화라는 두 가지 접근 방식 및 인스턴스 세분화라는두 가지 접근 방식의 기능을 결합하여 이미지에 대한 포괄적인 픽셀 수준의 이해를 제공합니다. 다른 방법들은 물체를 식별하는 데만 집중하거나 영역을 분류하는 데만 초점을 맞추는 반면, 파노픽 세그멘테이션은 시각적 장면의 모든 픽셀에 고유한 레이블을 할당합니다. 이 프로세스는 는 하늘, 도로, 잔디와 같은 무정형 배경 영역인 '사물'과 "사람, 자동차, 동물 등 셀 수 있는 물체와 같은 '사물'을 구분합니다. 이러한 기술을 연결함으로써 인공 지능(AI) 시스템 은 인간의 시각에 대한 세부적인 인식을 모방하여 환경에 대한 전체적인 시각을 확보할 수 있습니다.

세분화 기법의 차이점

파놉틱 분할의 가치를 완전히 파악하려면 관련 이미지 분할 작업과 구분하는 것이 도움이 됩니다. 이미지 세분화 작업과 구분하는 것이 도움이 됩니다:

• 시맨틱 세분화: 이 방법은 모든 픽셀에 클래스 레이블을 할당하지만 같은 카테고리의 여러 개체를 단일 엔티티로 취급합니다. 엔티티로 취급합니다. 예를 들어, 군중은 개별 구성원을 구분하지 않고 통합된 '사람' 영역으로 레이블이 지정됩니다. 개별 구성원을 구분하지 않고 통합된 "사람" 영역으로 레이블을 지정합니다.
• 인스턴스 세분화: 이 기술은 계산 가능한 별개의 객체("사물")를 식별하고 묘사하는 데에만 집중합니다. 각 '자동차' 또는 '보행자'에 대한 정확한 경계 상자와 마스크를 생성합니다. 각 '자동차' 또는 '보행자'에 대한 정확한 경계 상자와 마스크를 생성하지만 일반적으로 배경 요소는 무시합니다.
• 파놉틱 세분화: 이 접근 방식은 두 가지를 병합하여 분류되지 않은 픽셀이 남지 않도록 합니다. It 배경("사물")에 대한 컨텍스트를 제공하면서 전경 개체("사물")의 고유한 정체성을 유지합니다. 오브젝트("사물")의 고유한 정체성을 유지하면서 배경("사물")에 대한 컨텍스트를 제공합니다. 이 개념은 획기적인 논문에서 공식화되었습니다. 전체 장면에 대한 엄격한 표준을 확립한 FAIR(메타 AI) 파싱.

파놉틱 모델의 작동 방식

최신 파놉틱 아키텍처는 일반적으로 강력한 딥러닝(DL) 프레임워크를 활용합니다. 이들은 종종 공유 기능 추출기 또는 백본, 예를 들어 컨볼루션 신경망(CNN) 또는 비전 트랜스포머(ViT)와 같은 공유 기능 추출기 또는 본체를 사용합니다. 네트워크 은 의미 분석용과 인스턴스 식별용의 두 개의 전문화된 헤드로 나뉩니다. 고급 알고리즘은 이러한 출력을 융합하여 중복 예측과 같은 충돌을 해결하여 응집력 있는 파놉틱 맵을 생성합니다.

이러한 모델을 학습하려면 포괄적인 주석이 달린 데이터 세트가 필요합니다. 인기 있는 벤치마크는 다음과 같습니다. 다양한 일상 오브젝트를 제공하는 COCO 데이터세트, 자동차 연구에 필수적인 도시 거리 장면에 특화된 도시 거리 풍경을 전문으로 하는 Cityscapes가 있습니다.

실제 애플리케이션

파놉틱 세분화가 제공하는 세밀한 디테일은 다음을 사용하는 산업을 변화시키고 있습니다. 머신 러닝(ML)에 의존하는 산업을 변화시키고 있습니다. 변화시키고 있습니다.

• 자율 주행 차량: 웨이모나 테슬라 같은 회사의 자율주행차는 전체 장면 이해에 의존합니다. 파놉틱 모델을 사용하면 차량이 가 주행 가능한 표면(의미론적 '사물')을 정의하는 동시에 개별 보행자와 다른 차량의 궤적을 추적할 수 있게 해줍니다. 보행자 및 기타 차량(인스턴스 "사물")의 궤적을 추적할 수 있습니다.
• 의료 이미지 분석: 의료 분야에서는 정밀도가 매우 중요합니다. 분석 MRI 스캔 을 분석하려면 일반적인 조직 유형과 특정 이상 징후를 구분해야 하는 경우가 많습니다. 파놉틱 분할은 방사선 전문의가 개별 종양 세포를 세고 측정하는 동안 배경 장기를 식별하여 정확한 종양 탐지.
• 로봇과 농업: 비정형 환경에서의 로봇 비정형 환경의 로봇은 이 기술을 사용하여 조작과 탐색을 수행합니다. 정밀 농업 정밀 농업에서 자동 수확기는 다음을 수행할 수 있습니다. 작물 줄(배경)과 잘 익은 개별 과일(인스턴스)을 구분하여 농작물을 손상시키지 않고 수확할 수 있습니다. 식물.

YOLO 사용한 인스턴스 세분화

전체 파놉틱 아키텍처는 계산 집약적일 수 있지만, '사물' 구성 요소(별개의 객체 인스턴스를 식별하는 객체 인스턴스를 식별하는 "사물" 컴포넌트는 다음과 같이 효율적으로 처리됩니다. Ultralytics YOLO11. YOLO11 최첨단 실시간 추론을 제공하므로 속도와 정확성이 필요한 속도와 정확성이 요구되는 애플리케이션을 위한 탁월한 선택입니다.

다음 사항 Python 예제는 ultralytics 패키지를 사용하여 파놉틱 이해의 핵심 구성 요소인 인스턴스 세분화를 수행할 수 있습니다:

from ultralytics import YOLO

# Load a pretrained YOLO11 instance segmentation model
model = YOLO("yolo11n-seg.pt")

# Run inference to detect and segment individual objects ('things')
results = model("https://ultralytics.com/images/bus.jpg")

# Display the resulting image with segmentation masks
results[0].show()

복잡한 파이프라인을 구축하는 개발자에게는 다음과 같은 프레임워크가 유용합니다. PyTorch 와 같은 프레임워크와 라이브러리 와 같은 프레임워크 OpenCV 와 같은 라이브러리를 사용하면 이러한 세분화 맵을 추가로 처리할 수 있습니다. 자세한 내용은 특정 프로젝트에 맞는 사용자 지정 세분화 모델 교육 필요에 맞게 사용자 지정 세그멘테이션 모델을 훈련하는 방법에 대해 자세히 알아보세요.