Semantic Segmentation

시맨틱 세그멘테이션(Semantic segmentation)은 모든 개별 픽셀에 특정 클래스 레이블을 할당하여 이미지를 고유한 영역으로 나누는 컴퓨터 비전 태스크입니다. 전체 이미지에 단일 레이블을 할당하는 이미지 분류나 객체 주위에 바운딩 박스를 그리는 객체 검출 같은 단순한 태스크와 달리, 시맨틱 세그멘테이션은 장면에 대한 픽셀 수준의 이해를 제공합니다. 이러한 세밀한 분석은 객체의 정확한 모양과 경계가 그 정체성만큼이나 중요한 애플리케이션에서 매우 중요합니다. 이를 통해 기계는 인간과 더 유사하게 세상을 "볼" 수 있으며, 도로, 보행자 또는 의료 스캔 내의 종양을 구성하는 정확한 픽셀을 구별할 수 있습니다.

시맨틱 세그멘테이션의 작동 원리#

핵심적으로 시맨틱 세그멘테이션은 이미지를 분류해야 하는 픽셀 그리드로 처리합니다. 딥러닝 모델, 특히 합성곱 신경망 (CNN)은 이 태스크를 위한 표준 아키텍처입니다. 널리 사용되는 U-Net과 같은 일반적인 아키텍처는 인코더-디코더 구조를 채택합니다. 인코더는 입력 이미지를 압축하여 고수준 특징(텍스처 및 모양 등)을 추출하고, 디코더는 이러한 특징을 원래 이미지 해상도로 업샘플링하여 정확한 세그멘테이션 마스크를 생성합니다.

이를 달성하기 위해 모델은 인간 주석자가 클래스에 따라 각 픽셀을 신중하게 색칠한 대규모 어노테이션된 데이터셋에서 학습됩니다. Ultralytics Platform과 같은 도구는 고품질 그라운드 트루스 데이터 생성 속도를 높이는 자동 어노테이션 기능을 제공하여 이 과정을 용이하게 합니다. 학습이 완료되면 모델은 모든 픽셀 값이 클래스 ID에 대응하는 마스크를 출력하여 이미지에 의미를 효과적으로 "칠"합니다.

관련 개념 구분#

시맨틱 세그멘테이션을 다른 픽셀 수준 작업과 혼동하는 경우가 흔합니다. 차이점을 이해하는 것은 프로젝트에 적합한 접근 방식을 선택하는 핵심입니다:

• 인스턴스 세그멘테이션: 시맨틱 세그멘테이션이 동일한 클래스의 모든 객체를 단일 엔티티로 취급하는 반면(예: 모든 "자동차"가 파란색으로 표시됨), 인스턴스 세그멘테이션은 개별 객체를 구별합니다(예: "자동차 A"는 파란색, "자동차 B"는 빨간색).
• 파노픽 세그멘테이션: 이 방식은 두 개념을 결합합니다. 모든 픽셀에 클래스를 할당하는 동시에(시맨틱) 카운트 가능한 객체의 개별 인스턴스를 분리하여(인스턴스), 가장 포괄적인 장면 이해를 제공합니다.

실제 애플리케이션 사례#

픽셀 단위의 정확도로 시각적 데이터를 파싱하는 능력은 다양한 고위험 산업 전반에서 혁신을 이끌고 있습니다:

• 자동차 산업에서의 AI: 자율주행차는 안전하게 주행하기 위해 세그멘테이션에 크게 의존합니다. 주행 가능 영역과 보도를 식별하고, 보행자, 자동차, 장애물의 외곽선을 정확하게 그려냄으로써 자율주행 시스템은 실시간으로 중요한 결정을 내릴 수 있습니다.
• 의료 분야에서의 AI: 의료 영상에서 모델은 CT 스캔과 MRI에서 장기, 병변 또는 종양을 세그멘테이션합니다. 이는 방사선 의사가 치료 계획을 위해 종양 부피를 계산하거나 극도의 정밀도로 로봇 수술 도구를 안내하는 데 도움을 줍니다.
• 농업 분야에서의 AI: 농부들은 작물 건강을 모니터링하기 위해 공중 드론 이미지와 세그멘테이션을 사용합니다. 픽셀을 "건강한 작물", "잡초" 또는 "토양"으로 분류함으로써 자동화된 시스템은 제초제 살포를 타겟팅하여 화학물질 사용량을 줄이고 수확량을 최적화할 수 있습니다.

Ultralytics를 사용한 세그멘테이션 구현#

최신 세그멘테이션 모델은 특히 엣지 디바이스에서의 실시간 추론을 위해 정확도와 속도의 균형을 맞춰야 합니다. Ultralytics YOLO26 모델 패밀리에는 네이티브 엔드투엔드 방식으로 작동하며 YOLO11과 같은 구형 아키텍처보다 우수한 성능을 제공하는 특수 세그멘테이션 모델(-seg 접미사로 표시됨)이 포함되어 있습니다.

다음 예제는 ultralytics Python 패키지를 사용하여 이미지에 세그멘테이션을 수행하는 방법을 보여줍니다. 이는 객체 경계를 구분하는 바이너리 마스크를 생성합니다.

from ultralytics import YOLO

# Load a pre-trained YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Visualize the results
# This will display the image with the segmentation masks overlaid
results[0].show()

도전 과제 및 향후 방향#

상당한 진전에도 불구하고 시맨틱 세그멘테이션은 여전히 계산 집약적입니다. 모든 단일 픽셀에 대한 분류를 생성하려면 상당한 GPU 리소스와 메모리가 필요합니다. 연구원들은 모바일폰과 임베디드 디바이스에서 무거운 네트워크를 실행하기 위해 모델 양자화 같은 기술을 탐구하며 효율성을 위해 이러한 모델을 최적화하는 데 적극적으로 노력하고 있습니다.

게다가 대규모 라벨링된 데이터셋에 대한 필요성은 병목 현상입니다. 이를 해결하기 위해 업계는 합성 데이터 생성과 자기지도 학습으로 이동하여, 모델이 수백만 개의 수동 픽셀 라벨 없이도 원본 이미지로부터 학습할 수 있도록 하고 있습니다. 이러한 기술들이 성숙해짐에 따라, 세그멘테이션은 스마트 카메라, 로보틱스, 증강 현실 애플리케이션에서 더욱 보편화될 것으로 기대할 수 있습니다.