Interactive Segmentation

인터랙티브 세분화는 인간 사용자가 클릭, 바운딩 박스, 텍스트 프롬프트 등의 지속적 또는 단발성 입력을 제공하여 AI 모델이 이미지 내의 특정 객체를 격리하도록 유도하는 computer vision의 매우 협력적인 접근 방식입니다. 완전히 자동화된 방법과 달리, 이 인간 참여형(human-in-the-loop) 기법을 사용하면 사용자가 세분화할 대상을 정확하게 정의할 수 있어 모호한 시각적 데이터, 겹치는 객체, 또는 미지의 클래스를 다룰 때 특히 유용합니다. 지난 몇 년 동안 파운데이션 모델의 도입으로 이 프로세스의 속도와 정확도가 크게 향상되어 data annotation 및 정밀 이미징을 위한 필수 도구가 되었습니다.

대화형 세그멘테이션 작동 원리#

핵심적으로 이 워크플로는 promptable concept segmentation에 의존하며, 여기서 모델은 사용자 지침을 해석하여 픽셀 단위로 완벽한 마스크를 생성합니다. 사용자는 선택하려는 전경 객체에 "긍정적(positive)" 클릭을 하고 제외하려는 배경 영역에 "부정적(negative)" 클릭을 할 수 있습니다. Segment Anything Model (SAM) 및 그 후속 모델인 Meta SAM 3과 같은 고급 모델은 시각적 검색을 근거 짓기 위해 다양한 제스처 유형 [1], 바운딩 박스, 심지어 텍스트 설명까지 수용하여 이를 한 단계 더 발전시킵니다. 모델은 이러한 프롬프트를 기반으로 최적의 경계를 계산하며, 사용자는 원하는 정확도가 달성될 때까지 추가 클릭으로 마스크를 반복적으로 개선할 수 있습니다.

실제 애플리케이션 사례#

대화형 세그멘테이션은 인간의 전문성과 AI의 효율성을 결합하여 수많은 산업 분야의 워크플로우를 혁신하고 있습니다.

• 의료 영상: AI in healthcare 분야에서 의사와 방사선 전문의는 인터랙티브 도구를 사용하여 MRI 및 CT 스캔에서 종양, 병변 또는 특정 장기를 격리합니다. 의학 이미지를 위한 공간 모델링 [2]에 대한 연구에 따르면 인터랙티브 클릭을 통해 의료 전문가는 AI 예측을 빠르게 수정할 수 있으며, 환자 진단에 필요한 엄격한 정확성을 보장합니다.
• 지리 공간 및 위성 매핑: 도시 계획가와 환경 과학자는 인터랙티브 모델을 사용하여 GIS feature extraction [3]을 가속화합니다. 복잡한 해안선, 농업 경계 또는 새로운 인프라를 수동으로 추적하는 대신 분석가는 몇 번의 전략적 클릭으로 정확한 지리적 다각형을 즉시 생성할 수 있습니다.
• 산업 결함 감지: AI in manufacturing의 경우 품질 관리 엔지니어는 인터랙티브 프롬프트를 사용하여 생산 라인의 미세한 결함을 강조 표시할 수 있으며, 전체 모델을 다시 학습하지 않고도 새로운 유형의 결함에 시스템을 동적으로 적응시킬 수 있습니다.

대화형 세그멘테이션과 인스턴스 세그멘테이션 비교#

두 개념 모두 픽셀 수준에서 객체를 분리하는 것과 관련이 있지만 서로 다른 운영 목적을 수행합니다. Instance segmentation은 일반적으로 Ultralytics YOLO26과 같은 모델이 사용자 개입 없이 미리 정의된 클래스(예: "자동차", "사람", "강아지")를 감지하고 외곽선을 그리는 완전히 자동화된 프로세스입니다. 이것이 어떻게 작동하는지 가이드 to instance segmentation에서 자세히 알아볼 수 있습니다.

반면 인터랙티브 세분화는 미리 정의된 클래스에 엄격하게 의존하지 않습니다. 클래스에 구애받지 않으므로 사용자가 가리키는 모든 것을 세분화합니다. 따라서 Ultralytics Platform과 같은 도구를 사용하여 새로운 객체를 빠르게 주석을 달고 사용자 정의 데이터셋에 추가해야 하는 active learning 파이프라인에 탁월한 선택입니다.

Ultralytics를 사용한 예제#

PyTorch와 ultralytics Python 패키지를 사용하여 자신의 프로젝트에 인터랙티브 세분화를 쉽게 구현할 수 있습니다. 이 예제에서는 FastSAM을 사용하여 바운딩 박스 프롬프트를 제공함으로써 특정 객체를 세분화합니다.

from ultralytics import FastSAM

# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")

# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])

# Display the segmented result on screen
results[0].show()

이 스니펫은 간단한 공간 프롬프트가 모델을 직접 안내하여 관심 영역을 격리하는 방법을 보여주며, 최소한의 코드로 복잡한 image segmentation 작업을 간소화합니다.