프롬프트 기반 개념 세그멘테이션 이해하기

비전 AI는 빠르게 발전하고 있으며 실제 환경에서 이미지와 영상을 분석하는 데 널리 사용되고 있습니다. 예를 들어, 교통 관리 시스템부터 리테일 분석까지 다양한 애플리케이션이 컴퓨터 비전 모델과 통합되고 있습니다.

이러한 애플리케이션 대부분에서 객체 탐지 모델과 같은 비전 모델은 차량, 사람, 장비 등 사전에 정의된 객체 세트를 인식하도록 훈련됩니다. 훈련 과정에서 이 모델들은 각 객체가 어떻게 보이는지, 그리고 장면 내의 다른 객체와 어떻게 다른지 학습할 수 있도록 많은 라벨링된 예시를 학습합니다.

세그멘테이션 작업의 경우, 모델은 한 단계 더 나아가 이러한 객체 주변의 정밀한 픽셀 단위 윤곽선을 생성합니다. 이를 통해 시스템은 이미지 내 각 객체의 정확한 위치를 파악할 수 있습니다.

이 방식은 시스템이 훈련받은 대상만 인식하면 될 때는 잘 작동합니다. 하지만 실제 환경에서는 드문 경우입니다.

시각적 장면은 일반적으로 동적입니다. 새로운 객체와 시각적 개념이 나타나고, 조건이 변화하며, 사용자들은 종종 원래 훈련 설정에 포함되지 않았던 객체를 세그멘테이션하고자 합니다.

이러한 제한 사항은 세그멘테이션 분야에서 특히 두드러집니다. 비전 AI가 계속 진화함에 따라, 반복적인 재훈련 없이 새로운 개념에 적응할 수 있는 더욱 유연한 세그멘테이션 모델에 대한 수요가 커지고 있습니다. 이것이 바로 프롬프트 기반 개념 세그멘테이션(PCS)이 주목받는 이유입니다.

사용자는 고정된 객체 카테고리 목록에 의존하는 대신, 텍스트, 시각적 프롬프트 또는 예시 이미지를 사용하여 세그멘테이션하고자 하는 대상을 설명할 수 있습니다. 그러면 모델은 훈련 중에 명시적으로 포함되지 않았던 개념이라 하더라도 설명된 개념과 일치하는 모든 영역을 식별하고 세그멘테이션할 수 있습니다.

이 기사에서는 프롬프트 기반 개념 세그멘테이션의 작동 방식, 기존 접근 방식과의 차이점, 그리고 오늘날 어디에 사용되는지 살펴보겠습니다.

Link to this section프롬프트 기반 개념 세그멘테이션이란 무엇인가?#

대부분의 경우 세그멘테이션 모델은 짧은 객체 유형 목록을 인식하도록 훈련됩니다. 이는 비전 AI 시스템이 특정 객체 세트만을 탐지하고 세그멘테이션해야 할 때 잘 작동합니다.

하지만 실제 애플리케이션에서는 시각적 장면이 역동적입니다. 새로운 객체가 나타나고, 작업 요구 사항이 변경되며, 사용자들은 종종 원래 라벨 세트에 포함되지 않은 개념을 세그멘테이션해야 합니다. 이러한 상황을 지원하려면 일반적으로 새로운 고품질 데이터와 어노테이션을 수집하고 모델을 재훈련해야 하며, 이는 비용을 증가시키고 배포를 지연시킵니다.

프롬프트 기반 개념 세그멘테이션은 사용자가 고정된 라벨 목록에서 선택하는 대신 모델에 무엇을 찾아야 하는지 알려줌으로써 이 문제를 해결합니다. 사용자가 찾고 있는 객체나 아이디어를 설명하면, 모델이 이미지 내의 일치하는 모든 영역을 강조 표시합니다. 이를 통해 사용자의 의도를 이미지의 실제 픽셀과 훨씬 쉽게 연결할 수 있습니다.

그림 1. 세그멘테이션을 위해 개념 프롬프트를 사용하는 모습 (출처)

Link to this section다양한 유형의 프롬프트로 세그멘테이션 가이드하기#

프롬프트 기반 개념 세그멘테이션을 지원하는 모델은 다양한 유형의 입력을 받을 수 있어 유연합니다. 다시 말해, 텍스트 설명, 시각적 힌트, 또는 예시 이미지와 같이 모델에 무엇을 찾아야 하는지 알려주는 방법은 하나 이상입니다.

각 접근 방식에 대해 더 자세히 살펴보겠습니다.

• 텍스트 프롬프트: "스쿨버스"나 "종양 영역"과 같은 짧은 문구를 사용하여 세그멘테이션할 개념을 설명할 수 있습니다. 모델은 단어의 의미를 해석하고 일치하는 영역을 식별합니다.
• 시각적 프롬프트: 이러한 프롬프트는 이미지 내의 점, 박스 또는 대략적인 스케치를 힌트로 사용합니다. 이러한 단서는 무엇을 찾을지 가이드하고 최종 경계를 형성하는 데 도움을 줍니다.
• 이미지 예시: 참조 이미지나 작은 크롭 이미지는 관심 있는 개념을 나타냅니다. 모델은 시각적으로 유사한 영역을 검색하고 시각적 외관을 기반으로 이를 세그멘테이션합니다.

Link to this sectionPCS와 기존 세그멘테이션의 차이점#

프롬프트 기반 개념 세그멘테이션이 어떻게 작동하는지 알아보기 전에, 먼저 다양한 기존 객체 세그멘테이션 방법과 비교해 보겠습니다.

PCS는 오픈 어휘(open-vocabulary) 및 프롬프트 기반 모델을 가능하게 합니다. 프롬프트를 통해 설명된 새로운 아이디어로 작업할 수 있지만, 기존 세그멘테이션은 그렇지 못합니다. 각각 고유한 가정과 제한 사항을 가진 여러 가지 유형의 전통적인 세그멘테이션 접근 방식이 있습니다.

전통적인 세그멘테이션의 주요 유형을 간단히 살펴보겠습니다.

• 시맨틱 세그멘테이션: 이미지의 모든 픽셀은 도로, 건물 또는 사람과 같은 카테고리의 일부로 라벨링됩니다. 동일한 라벨을 가진 모든 픽셀이 함께 그룹화되므로, 모델은 개별 객체 인스턴스를 구분하지 않습니다.
• 인스턴스 세그멘테이션: 모델은 개별 객체를 식별하고 세그멘테이션하므로, 두 사람이나 두 대의 자동차는 별도의 항목으로 처리됩니다.
• 파놉틱 세그멘테이션: 이 기술은 시맨틱 세그멘테이션과 인스턴스 세그멘테이션을 결합하여 배경 영역과 개별 객체를 모두 포함하는 장면의 전체적인 뷰를 제공합니다.

이러한 모든 접근 방식은 사전에 정의된 객체 카테고리 목록에 의존합니다. 해당 범위 내에서는 잘 작동하지만, 그 밖의 개념은 잘 처리하지 못합니다. 새로운 특정 객체를 세그멘테이션해야 할 때는 일반적으로 추가 훈련 데이터와 모델 파인 튜닝이 필요합니다.

PCS는 이를 변화시키는 것을 목표로 합니다. 사전에 정의된 카테고리에 갇히는 대신, 추론 시점에 이미지에서 세그멘테이션하고자 하는 대상을 설명할 수 있게 합니다.

Link to this sectionPCS 모델의 진화#

다음으로, 세그멘테이션 모델이 어떻게 프롬프트 기반 개념 세그멘테이션으로 진화했는지 살펴보겠습니다.

세그멘테이션의 전환점을 마련한 인기 있는 파운데이션 모델은 2023년에 도입된 SAM, 즉 Segment Anything Model입니다. SAM은 사전에 정의된 객체 카테고리에 의존하는 대신, 사용자가 점이나 바운딩 박스와 같은 간단한 시각적 프롬프트를 사용하여 세그멘테이션을 가이드할 수 있도록 했습니다.

SAM을 통해 사용자는 더 이상 라벨을 선택할 필요가 없었습니다. 객체가 어디에 있는지 나타내기만 하면 모델이 해당 객체에 대한 마스크를 생성했습니다. 이는 세그멘테이션을 더욱 유연하게 만들었지만, 사용자는 여전히 모델에 어디를 봐야 할지 알려주어야 했습니다.

2024년에 출시된 SAM 2는 이 아이디어를 기반으로 더 복잡한 장면을 처리하고 비디오로 프롬프트 기반 세그멘테이션을 확장했습니다. 이는 조명 조건, 객체 형태, 움직임 전반에 걸쳐 견고성을 개선하면서도, 여전히 주로 세그멘테이션을 가이드하기 위해 시각적 프롬프트에 의존했습니다.

SAM 3 모델은 이러한 진화의 최신 단계입니다. 작년에 출시된 이 모델은 시각적 이해와 언어 가이드를 결합한 통합 모델로서, 이미지 및 비디오 세그멘테이션 작업 전반에서 일관된 성능을 보입니다.

SAM 3를 사용하면 사용자는 점을 찍거나 프롬프트를 그리는 것에 제한되지 않습니다. 대신 텍스트를 사용하여 세그멘테이션하고자 하는 대상을 설명할 수 있으며, 모델은 이미지나 비디오 프레임에서 해당 설명과 일치하는 영역을 검색합니다.

세그멘테이션은 고정된 객체 카테고리가 아닌 개념에 의해 가이드되며, 다양한 장면과 시간에 걸쳐 오픈 어휘 사용을 지원합니다. 실제로 SAM 3는 Wikidata와 같은 소스에서 파생되고 대규모 훈련 데이터를 통해 확장된 온톨로지에 기반을 둔 방대한 학습 개념 공간에서 작동합니다.

그림 2. SAM 3를 사용하여 단일 이미지를 프롬프트하고 세그멘테이션하는 예시 (출처)

주로 기하학적 프롬프트에 의존했던 초기 버전과 비교하여, SAM 3는 더욱 유연하고 개념 중심적인 세그멘테이션으로 나아가는 단계를 나타냅니다. 이는 관심 있는 객체나 아이디어가 변경될 수 있고 항상 사전에 정의될 수 없는 실제 애플리케이션에 더 적합합니다.

Link to this section프롬프트 기반 시각적 세그멘테이션의 작동 방식 탐구#

그렇다면 프롬프트 기반 개념 세그멘테이션은 어떻게 작동할까요? 이는 거대한 이미지 컬렉션과 많은 경우 쌍을 이룬 텍스트로 훈련된 대규모 사전 훈련 비전 및 비전 언어 모델을 기반으로 합니다. 이 훈련을 통해 모델은 일반적인 시각적 패턴과 의미론적 의미를 학습합니다.

대부분의 PCS 모델은 전체 이미지를 한 번에 처리하여 서로 다른 영역이 어떻게 연관되는지 이해하는 트랜스포머 기반 아키텍처를 사용합니다. 비전 트랜스포머는 이미지에서 시각적 특징을 추출하는 반면, 텍스트 인코더는 단어를 모델이 처리할 수 있는 수치 표현으로 변환합니다.

훈련 중에 이러한 모델은 정확한 객체 경계를 정의하는 픽셀 단위 마스크, 객체를 대략적으로 위치시키는 바운딩 박스, 이미지에 무엇이 나타나는지 설명하는 이미지 수준 라벨을 포함한 다양한 유형의 감독을 통해 학습할 수 있습니다. 서로 다른 종류의 라벨링된 데이터를 사용한 훈련은 모델이 미세한 세부 사항과 더 넓은 시각적 개념을 모두 포착하도록 돕습니다.

추론 시점, 즉 모델이 실제로 예측을 수행하는 데 사용될 때, PCS는 프롬프트 기반 프로세스를 따릅니다. 사용자는 텍스트 설명, 점이나 박스와 같은 시각적 힌트, 또는 예시 이미지를 통해 가이드를 제공합니다. 모델은 프롬프트와 이미지를 모두 공유된 내부 표현 또는 임베딩으로 인코딩하고, 설명된 개념과 일치하는 영역을 식별합니다.

마스크 디코더는 이 공유된 표현을 정밀한 픽셀 단위 세그멘테이션 마스크로 변환합니다. 모델이 시각적 특징과 의미론적 의미를 연결하기 때문에, 훈련 중에 명시적으로 포함되지 않았던 새로운 개념도 세그멘테이션할 수 있습니다.

또한 종종 프롬프트를 조정하거나 추가 가이드를 추가하여 출력을 개선할 수 있으며, 이는 모델이 복잡하거나 모호한 장면을 처리하는 데 도움이 됩니다. 이 반복적인 프로세스는 배포 중 실용적인 최적화를 지원합니다.

프롬프트 기반 개념 세그멘테이션 모델은 일반적으로 이전에 본 적 없는 개념을 얼마나 잘 세그멘테이션하는지, 그리고 서로 다른 장면에서 얼마나 견고하게 성능을 발휘하는지를 기준으로 평가됩니다. 벤치마크는 종종 마스크 품질, 일반화 및 컴퓨팅 효율성에 중점을 두며, 이는 실제 배포 요구 사항을 반영합니다.

Link to this sectionPCS의 실제 활용 사례#

다음으로, 프롬프트 기반 개념 세그멘테이션이 이미 사용되고 있으며 실질적인 영향을 미치기 시작하는 곳을 살펴보겠습니다.

Link to this section의료 영상을 위한 유연한 이미지 세그멘테이션#

의료 영상에는 많은 생물학적 구조, 질병 및 스캔 유형이 포함되어 있으며 매일 새로운 사례가 나타납니다. 기존 세그멘테이션 모델은 이러한 다양성을 따라잡기 위해 고군분투합니다.

PCS는 짧고 경직된 목록에서 선택하는 대신 임상의가 찾고자 하는 것을 설명할 수 있도록 해주기 때문에 이 공간에 자연스럽게 적합합니다. 텍스트 문구나 시각적 프롬프트를 사용하면 PCS를 사용하여 새로운 작업마다 모델을 재훈련할 필요 없이 장기나 관심 영역을 직접 세그멘테이션할 수 있습니다. 이는 다양한 임상 요구 사항을 더 쉽게 처리하고, 수동 마스크 그리기에 대한 필요성을 줄이며, 많은 영상 유형에 걸쳐 작동합니다.

좋은 예로 의료 영상에서 텍스트 기반 PCS를 위해 SAM 3 아키텍처를 적용한 MedSAM-3가 있습니다. 이 모델은 간이나 신장과 같은 장기 이름, 종양이나 병변과 같은 병변 관련 개념과 같은 명시적인 해부학적 및 병리학적 용어로 프롬프트될 수 있습니다. 프롬프트가 주어지면 모델은 의료 영상에서 해당 영역을 직접 세그멘테이션합니다.

MedSAM-3는 텍스트와 이미지 모두를 추론할 수 있는 멀티모달 대규모 언어 모델(MLLM 또는 멀티모달 LLM)을 통합합니다. 이러한 모델은 더 까다로운 사례에서 정확도를 높이기 위해 결과가 반복적으로 개선되는 에이전트 인 더 루프(agent-in-the-loop) 설정에서 작동합니다.

그림 3. 의료 영상 내 텍스트 프롬프트 기반 종양 세그멘테이션을 위한 MedSAM-3 파이프라인 (출처)

MedSAM-3는 X-레이, MRI, CT, 초음파 및 비디오 데이터 전반에서 우수한 성능을 발휘하며, 실제 임상 환경에서 PCS가 어떻게 더 유연하고 효율적인 의료 영상 워크플로우를 가능하게 하는지 보여줍니다.

Link to this section로봇 수술 및 자동화를 위한 적응형 세그멘테이션#

로봇 수술은 도구를 추적하고 빠르게 변화하는 수술 장면을 이해하기 위해 비전 시스템에 의존합니다. 기구는 빠르게 움직이고 조명은 변하며 언제든지 새로운 도구가 나타날 수 있으므로 사전에 정의된 라벨 시스템은 유지 관리가 어렵습니다.

PCS를 사용하면 로봇은 실시간으로 도구를 추적하고, 카메라를 가이드하며, 수술 단계를 따라갈 수 있습니다. 이는 수동 라벨링을 줄이고 시스템을 다양한 절차에 쉽게 적응시킬 수 있게 합니다. 외과 의사나 자동화 시스템은 "그리퍼", "메스" 또는 "카메라 도구"와 같은 텍스트 프롬프트를 사용하여 이미지에서 무엇을 세그멘테이션해야 할지 나타낼 수 있습니다.

그림 4. 로봇 수술 중 사용되는 수술 도구 세그멘테이션 (출처)

Link to this sectionUltralytics YOLOE-26을 통한 오픈 어휘 세그멘테이션#

프롬프트 기반 개념 세그멘테이션과 관련된 또 다른 흥미로운 최신 모델은 Ultralytics YOLOE-26입니다. 이 모델은 오픈 어휘, 프롬프트 기반 세그멘테이션을 Ultralytics YOLO 모델 제품군에 도입합니다.

YOLOE-26은 Ultralytics YOLO26 아키텍처를 기반으로 구축되었으며 오픈 어휘 인스턴스 세그멘테이션을 지원합니다. YOLOE-26은 사용자가 여러 가지 방식으로 세그멘테이션을 가이드할 수 있도록 합니다.

텍스트 프롬프트를 지원하여 짧고 시각적으로 근거 있는 문구로 대상 객체를 지정할 수 있으며, 이미지 단서를 기반으로 추가 가이드를 제공하는 시각적 프롬프트도 지원합니다. 또한 YOLOE-26에는 제로샷 추론을 위한 프롬프트 없는 모드가 포함되어 있어, 사용자의 프롬프트 없이도 모델이 내장된 어휘에서 객체를 탐지하고 세그멘테이션합니다.

YOLOE-26은 비디오 분석, 로봇 인식, 에지 기반 시스템과 같이 객체 카테고리가 변경될 수 있지만 낮은 지연 시간과 신뢰할 수 있는 처리량이 필수적인 애플리케이션에 매우 적합합니다. 또한 데이터 라벨링 및 데이터셋 큐레이션에도 특히 유용하며, 어노테이션 프로세스의 일부를 자동화하여 워크플로우를 간소화합니다.

Link to this section프롬프트 기반 개념 세그멘테이션의 장단점#

프롬프트 기반 개념 세그멘테이션 사용의 주요 이점은 다음과 같습니다.

• 더 빠른 반복 및 프로토타이핑: 데이터셋을 재구축하거나 모델을 재훈련하는 대신 프롬프트를 변경하여 새로운 세그멘테이션 작업을 신속하게 테스트할 수 있으므로 실험 및 개발 속도가 빨라집니다.
• 도메인 간 적응성: 동일한 PCS 모델을 종종 워크플로우 변경을 최소화하면서 의료 영상, 로봇 공학 또는 비디오 분석과 같은 다양한 도메인에 적용할 수 있습니다.
• 대화형 개선: 사용자가 반복적으로 프롬프트를 조정하거나 가이드를 추가하여 결과를 개선할 수 있으므로, 재훈련 없이 모호한 장면이나 에지 케이스를 더 쉽게 처리할 수 있습니다.

PCS는 확실한 장점이 있지만, 고려해야 할 몇 가지 제한 사항은 다음과 같습니다.

• 프롬프트 민감도: 프롬프트가 작성되거나 제공되는 방식의 작은 변화가 출력에 영향을 줄 수 있습니다. 너무 모호하거나 지나치게 구체적인 프롬프트는 불완전하거나 부정확한 세그멘테이션으로 이어질 수 있습니다.
• 덜 예측 가능한 동작: 모델이 고정된 라벨에서 선택하는 것이 아니라 프롬프트를 해석하기 때문에 장면과 입력 전반에서 결과가 더 크게 다를 수 있으며, 이는 엄격하게 통제된 파이프라인의 경우 문제가 될 수 있습니다.
• 모호한 개념 해석: 일부 개념은 주관적이거나 느슨하게 정의되어 있어 사용자 간 또는 이미지 간에 일관되지 않은 세그멘테이션 결과를 초래할 수 있습니다.
• 매우 구체적인 타겟에 대한 제한된 신뢰성: 프롬프트 기반 모델은 일반적으로 미세한 특징을 정확하고 일관되게 식별해야 하는 결함 탐지와 같이 좁게 정의된 인스턴스별 작업에 대해서는 신뢰성이 낮습니다.

Link to this section프롬프트 기반 세그멘테이션과 전통적인 세그멘테이션 선택하기#

프롬프트 기반 세그멘테이션을 탐색하다 보면, 어떤 애플리케이션에 가장 적합한지, 그리고 YOLO26과 같은 전통적인 컴퓨터 비전 모델이 해결하려는 문제에 언제 더 적합한지 궁금할 수 있습니다. 프롬프트 기반 세그멘테이션은 일반적인 객체에는 잘 작동하지만, 매우 정확하고 일관된 결과가 필요한 사용 사례에는 적합하지 않습니다.

결함 탐지가 좋은 예입니다. 제조 분야에서 결함은 종종 작은 긁힘, 찌그러짐, 정렬 불량 또는 표면 불균일과 같이 미세하고 미묘합니다. 또한 재료, 조명 및 생산 조건에 따라 크게 달라질 수 있습니다.

이러한 문제는 간단한 프롬프트로 설명하기 어렵고 범용 모델이 안정적으로 탐지하기는 더욱 어렵습니다. 전반적으로 프롬프트 기반 모델은 결함을 놓치거나 불안정한 결과를 생성하는 경향이 있는 반면, 결함 데이터에 대해 특별히 훈련된 모델은 실제 검사 시스템에서 훨씬 더 신뢰할 수 있습니다.

Link to this section핵심 요약#

프롬프트 기반 개념 세그멘테이션은 새로운 객체와 아이디어가 끊임없이 나타나는 실제 세계에 비전 시스템을 더 쉽게 적응시킬 수 있게 합니다. 고정된 라벨에 갇히는 대신, 사용자는 단순히 세그멘테이션하고자 하는 대상을 설명하고 모델이 나머지를 처리하도록 할 수 있어 시간을 절약하고 수동 작업을 줄일 수 있습니다. 여전히 제한 사항이 있지만, PCS는 이미 현장에서 세그멘테이션이 사용되는 방식을 바꾸고 있으며 미래 비전 시스템의 핵심 부분이 될 가능성이 높습니다.

저희 GitHub 리포지토리를 방문하고 커뮤니티에 가입하여 AI에 대해 더 많이 알아보세요. 솔루션 페이지를 확인하여 로봇 공학 분야의 AI와 제조업의 컴퓨터 비전에 대해 알아보세요. 오늘 바로 라이선스 옵션을 살펴보고 비전 AI를 시작해 보세요!