프롬프트 기반 콘셉트 분할 이해하기

비전 AI는 빠르게 발전하고 있으며 실제 환경의 이미지와 동영상을 분석하는 데 널리 사용되고 있습니다. 예를 들어 교통 관리 시스템부터 소매 분석에 이르기까지 다양한 애플리케이션에 컴퓨터 비전 모델이 통합되고 있습니다.

이러한 애플리케이션에서 객체 감지 모델과 같은 비전 모델은 차량, 사람, 장비를 포함한 미리 정의된 객체 집합을 인식하도록 학습됩니다. 학습 중에 모델은 라벨이 지정된 다양한 예시를 접하며 각 객체의 모양과 장면에서 다른 객체와 구별하는 방법을 학습합니다.

세그멘테이션 작업에서 모델은 한 걸음 더 나아가 이러한 객체 주위에 픽셀 단위의 정밀한 윤곽선을 생성합니다. 이를 통해 시스템은 이미지에서 각 객체가 정확히 어디에 있는지 파악할 수 있습니다.

시스템이 학습된 대상만 인식하면 되는 동안에는 이 방식이 잘 작동합니다. 그러나 실제 환경에서는 그런 경우가 드뭅니다.

시각 장면은 대개 계속해서 변합니다. 새로운 객체와 시각적 개념이 등장하고 조건이 바뀌며, 사용자는 원래 학습 설정에 포함되지 않았던 객체를 분할하려는 경우가 많습니다.

이러한 한계는 특히 분할 작업에서 두드러집니다. 비전 AI가 계속 발전하면서 반복적인 재학습 없이 새로운 개념에 적응할 수 있는 유연한 분할 모델의 필요성이 커지고 있습니다. 이러한 이유로 프롬프트 기반 개념 분할(PCS)이 주목받고 있습니다.

사용자는 고정된 객체 범주 목록에 의존하는 대신 텍스트, 시각적 프롬프트 또는 예시 이미지를 사용해 분할하려는 대상을 설명할 수 있습니다. 그러면 모델은 학습 중에 명시적으로 포함되지 않은 개념이라도 설명과 일치하는 모든 영역을 식별하고 분할할 수 있습니다.

이 문서에서는 프롬프트 기반 개념 분할의 작동 방식, 기존 접근 방식과의 차이점, 현재 활용 분야를 살펴보겠습니다.

프롬프트 기반 개념 분할이란 무엇인가요?#

대부분의 경우 분할 모델은 제한된 객체 유형 목록을 인식하도록 학습됩니다. 비전 AI 시스템이 특정 객체 집합만 감지하고 분할하면 되는 경우에는 이 방식이 효과적입니다.

그러나 실제 애플리케이션에서는 시각 장면이 계속 변합니다. 새로운 객체가 나타나고 작업 요구 사항이 바뀌며 사용자는 원래 라벨 집합에 포함되지 않은 개념을 분할해야 하는 경우가 많습니다. 이러한 상황을 지원하려면 일반적으로 새로운 고품질 데이터와 어노테이션을 수집하고 모델을 재학습해야 하므로 비용이 증가하고 배포가 지연됩니다.

프롬프트 기반 개념 분할은 사용자가 고정된 라벨 목록에서 선택하는 대신 모델에 원하는 대상을 알려줄 수 있게 하여 이 문제를 해결합니다. 사용자가 찾으려는 객체나 개념을 설명하면 모델은 이미지에서 일치하는 모든 영역을 강조 표시합니다. 이를 통해 사용자의 의도를 이미지의 실제 픽셀에 훨씬 쉽게 연결할 수 있습니다.

그림 1. 분할을 위한 개념 프롬프트 사용 예시 (출처)

다양한 유형의 프롬프트로 분할을 안내하는 방법#

프롬프트 기반 개념 분할을 지원하는 모델은 다양한 입력 유형을 받을 수 있어 유연합니다. 즉, 텍스트 설명, 시각적 단서 또는 예시 이미지 등 여러 방법으로 모델에 원하는 대상을 알릴 수 있습니다.

각 접근 방식을 자세히 살펴보겠습니다.

• 텍스트 프롬프트: “스쿨버스” 또는 “종양 영역”과 같은 짧은 문구로 분할할 개념을 설명할 수 있습니다. 모델은 단어의 의미를 해석하고 일치하는 영역을 식별합니다.
• 시각적 프롬프트: 이미지 안의 점, 상자 또는 대략적인 스케치를 단서로 사용합니다. 이러한 단서는 탐색할 위치를 안내하고 최종 경계를 정하는 데 도움을 줍니다.
• 이미지 예시: 참조 이미지나 작은 크롭 이미지로 관심 개념을 나타냅니다. 모델은 시각적으로 유사한 영역을 찾아 외관을 기준으로 분할합니다.

PCS와 기존 분할의 차이점#

프롬프트 기반 개념 분할의 작동 방식을 자세히 살펴보기 전에 먼저 다양한 기존 객체 분할 방법과 비교해 보겠습니다.

PCS는 개방형 어휘와 프롬프트 기반 모델을 지원합니다. 프롬프트로 설명한 새로운 개념에도 사용할 수 있지만 기존 분할은 그렇지 않습니다. 기존 분할 접근 방식에는 여러 유형이 있으며 각 방식에는 고유한 가정과 한계가 있습니다.

주요 기존 분할 유형을 간략히 살펴보겠습니다.

• 시맨틱 분할: 이미지의 모든 픽셀에 도로, 건물, 사람과 같은 범주의 라벨을 지정합니다. 동일한 라벨을 가진 모든 픽셀을 하나로 묶으므로 모델은 개별 객체 인스턴스를 구분하지 않습니다.
• 인스턴스 분할: 모델은 개별 객체를 식별하고 분할하므로 사람 두 명이나 자동차 두 대를 서로 다른 항목으로 처리합니다.
• 파노픽 분할: 이 기법은 시맨틱 분할과 인스턴스 분할을 결합해 배경 영역과 개별 객체를 모두 포함하는 장면 전체를 파악합니다.

이러한 접근 방식은 모두 미리 정의된 객체 범주 목록에 의존합니다. 정해진 범위 안에서는 잘 작동하지만 그 범위를 벗어난 개념은 잘 처리하지 못합니다. 새로운 특정 객체를 분할해야 하는 경우 일반적으로 추가 학습 데이터와 모델 미세 조정이 필요합니다.

PCS는 이러한 상황을 바꾸고자 합니다. 미리 정의된 범주에 얽매이지 않고 추론 시점에 이미지에서 분할하려는 대상을 설명할 수 있습니다.

PCS 모델의 발전 과정#

이제 분할 모델이 어떻게 발전해 프롬프트 기반 개념 분할로 이어졌는지 살펴보겠습니다.

분할의 전환점을 마련한 인기 파운데이션 모델로 2023년에 출시된 SAM, 즉 세그먼트 애니싱 모델이 있습니다. 미리 정의된 객체 범주에 의존하는 대신 SAM은 사용자가 점이나 바운딩 박스와 같은 간단한 시각적 프롬프트로 분할을 안내할 수 있게 했습니다.

SAM을 사용하면 더 이상 라벨을 선택할 필요가 없었습니다. 객체가 있는 위치를 표시하기만 하면 모델이 해당 객체의 마스크를 생성할 수 있었습니다. 이로써 분할이 더 유연해졌지만 사용자는 여전히 모델에 탐색할 위치를 보여줘야 했습니다.

2024년에 출시된 SAM 2는 더 복잡한 장면을 처리하고 프롬프트 기반 분할을 동영상으로 확장하여 이 아이디어를 발전시켰습니다. 분할을 안내하는 데 주로 시각적 프롬프트를 계속 사용하면서 다양한 조명 조건, 객체 형태, 움직임 전반에서의 견고성을 높였습니다.

SAM 3 모델은 이러한 발전 과정의 최신 단계입니다. 지난해 출시된 통합 모델로, 시각적 이해와 언어 기반 안내를 결합하여 이미지와 동영상 분할 작업에서 일관된 동작을 구현합니다.

SAM 3을 사용하면 포인팅이나 드로잉 프롬프트만으로 작업할 필요가 없습니다. 대신 텍스트로 분할할 대상을 설명하면 모델이 이미지나 동영상 프레임에서 설명과 일치하는 영역을 찾습니다.

세그멘테이션은 고정된 객체 카테고리가 아닌 개념을 기준으로 수행되므로, 다양한 장면과 시간에 걸쳐 오픈 보캐뷸러리 사용을 지원합니다. 실제로 SAM 3는 Wikidata와 같은 소스에서 도출한 온톨로지에 기반을 두고 대규모 학습 데이터로 확장된, 학습된 대규모 개념 공간에서 작동합니다.

그림 2. SAM 3에 프롬프트를 입력해 단일 이미지를 세그멘테이션하는 예시 (출처)

주로 기하학적 프롬프트에 의존했던 이전 버전과 비교하면, SAM 3는 더욱 유연하고 개념 중심적인 세그멘테이션을 향한 진전을 보여줍니다. 따라서 관심 대상인 객체나 개념이 바뀔 수 있고 항상 사전에 정의할 수는 없는 실제 애플리케이션에 더 적합합니다.

프롬프트 기반 개념 세그멘테이션의 작동 방식 살펴보기#

그렇다면 프롬프트 기반 개념 세그멘테이션은 어떻게 작동할까요? 이 방식은 대규모 사전 학습 비전 모델과 비전 언어 모델을 기반으로 합니다. 이러한 모델은 방대한 이미지 모음과 많은 경우 이미지에 짝지어진 텍스트로 학습됩니다. 이러한 학습을 통해 일반적인 시각 패턴과 의미를 학습할 수 있습니다.

대부분의 PCS 모델은 트랜스포머 기반 아키텍처를 사용하며, 이미지 전체를 한 번에 처리해 서로 다른 영역 간의 관계를 파악합니다. 비전 트랜스포머는 이미지에서 시각적 특징을 추출하고, 텍스트 인코더는 단어를 모델이 처리할 수 있는 수치 표현으로 변환합니다.

학습 과정에서 이러한 모델은 객체의 정확한 경계를 정의하는 픽셀 수준 마스크, 객체의 대략적인 위치를 표시하는 바운딩 박스, 이미지에 무엇이 나타나는지 설명하는 이미지 수준 레이블 등 다양한 유형의 지도 신호를 학습할 수 있습니다. 여러 종류의 레이블 데이터를 사용해 학습하면 모델이 세부적인 내용과 더 광범위한 시각적 개념을 모두 포착할 수 있습니다.

추론 시, 즉 모델이 실제로 예측에 사용될 때 PCS는 프롬프트 기반 프로세스를 따릅니다. 사용자는 텍스트 설명, 점이나 박스와 같은 시각적 힌트, 또는 예시 이미지로 지침을 제공합니다. 모델은 프롬프트와 이미지를 모두 공통 내부 표현, 즉 임베딩으로 인코딩하고 설명된 개념과 일치하는 영역을 식별합니다.

그런 다음 마스크 디코더가 이 공통 표현을 정밀한 픽셀 수준 세그멘테이션 마스크로 변환합니다. 모델은 시각적 특징과 의미를 연결하므로 학습 중에 명시적으로 포함되지 않은 새로운 개념도 세그멘테이션할 수 있습니다.

또한 프롬프트를 조정하거나 추가 가이드를 제공해 출력을 개선할 수 있는 경우가 많으며, 이를 통해 모델이 복잡하거나 모호한 장면을 처리하는 데 도움이 됩니다. 이러한 반복 프로세스는 배포 중 실질적인 최적화를 지원합니다.

프롬프트 기반 개념 세그멘테이션 모델은 일반적으로 이전에 보지 못한 개념을 얼마나 잘 세그멘테이션하는지, 다양한 장면에서 얼마나 견고하게 작동하는지를 기준으로 평가합니다. 벤치마크는 실제 배포 요구 사항을 반영해 마스크 품질, 일반화 성능, 계산 효율성에 초점을 맞추는 경우가 많습니다.

PCS의 실제 활용 사례#

이어서 프롬프트 기반 개념 세그멘테이션이 이미 어디에서 사용되고 있으며 실제로 어떤 영향을 미치기 시작했는지 살펴보겠습니다.

의료 영상에서 유연한 이미지 세그멘테이션#

의료 영상에는 다양한 생물학적 구조, 질병, 스캔 유형이 포함되며 매일 새로운 사례가 발생합니다. 기존 세그멘테이션 모델은 이러한 다양성에 대응하기 어렵습니다.

PCS는 사용자가 제한적이고 경직된 목록에서 선택하는 대신 찾고자 하는 대상을 설명할 수 있게 하므로 의료 분야에 자연스럽게 적용됩니다. 텍스트 문구나 시각적 프롬프트를 사용하면 각 새로운 작업마다 모델을 재학습하지 않고도 PCS로 장기나 관심 영역을 직접 세그멘테이션할 수 있습니다. 따라서 다양한 임상 요구에 더 쉽게 대응하고, 수동으로 마스크를 그리는 작업을 줄이며, 여러 영상 유형에 적용할 수 있습니다.

대표적인 예로 의료 영상의 텍스트 프롬프트 기반 PCS를 위해 SAM 3 아키텍처를 적용한 MedSAM-3이 있습니다. 이 모델에는 간이나 신장 같은 장기명, 종양이나 병변 같은 병변 관련 개념 등 명시적인 해부학적·병리학적 용어를 프롬프트로 입력할 수 있습니다. 프롬프트가 주어지면 모델은 의료 영상에서 해당 영역을 직접 세그멘테이션합니다.

MedSAM-3는 텍스트와 이미지를 모두 대상으로 추론할 수 있는 멀티모달 대규모 언어 모델(MLLM 또는 멀티모달 LLM)도 통합합니다. 이러한 모델은 에이전트 참여형 설정에서 작동하며, 더 까다로운 사례의 정확도를 높이기 위해 결과를 반복적으로 개선합니다.

그림 3. 의료 영상의 텍스트 프롬프트 기반 종양 세그멘테이션을 위한 MedSAM-3 파이프라인 (출처)

MedSAM-3는 X선, MRI, CT, 초음파, 비디오 데이터 전반에서 우수한 성능을 보여주며, 실제 임상 환경에서 PCS가 더욱 유연하고 효율적인 의료 영상 워크플로를 지원할 수 있음을 보여줍니다.

로봇 수술 및 자동화를 위한 적응형 세그멘테이션#

로봇 수술은 수술 도구를 추적하고 빠르게 변하는 수술 장면을 파악하기 위해 비전 시스템에 의존합니다. 도구는 빠르게 움직이고 조명은 달라지며 새로운 도구가 언제든 등장할 수 있으므로, 사전에 정의된 레이블 시스템을 유지하기 어렵습니다.

PCS를 사용하면 로봇이 도구를 추적하고, 카메라를 안내하며, 수술 단계를 실시간으로 따라갈 수 있습니다. 따라서 수동 레이블링이 줄고 시스템을 다양한 시술에 맞게 더 쉽게 조정할 수 있습니다. 외과의나 자동화 시스템은 이미지에서 세그멘테이션할 대상을 지정하기 위해 “그리퍼”, “메스”, “카메라 도구”와 같은 텍스트 프롬프트를 사용할 수 있습니다.

그림 4. 로봇 수술에 사용되는 수술 도구 세그멘테이션 (출처)

Ultralytics YOLOE-26을 활용한 오픈 보캐뷸러리 세그멘테이션#

프롬프트 기반 개념 세그멘테이션과 관련된 또 다른 흥미로운 최신 모델은 Ultralytics YOLOE-26입니다. 이 모델은 오픈 보캐뷸러리 프롬프트 기반 세그멘테이션을 Ultralytics YOLO 모델 제품군에 제공합니다.

YOLOE-26은 Ultralytics YOLO26 아키텍처를 기반으로 하며 오픈 보캐뷸러리 인스턴스 세그멘테이션을 지원합니다. YOLOE-26에서는 여러 가지 방식으로 세그멘테이션을 안내할 수 있습니다.

짧고 시각적 근거가 있는 문구로 대상 객체를 지정하는 텍스트 프롬프트와 이미지 단서에 기반한 추가 가이드를 제공하는 시각적 프롬프트를 지원합니다. 또한 YOLOE-26에는 제로샷 추론을 위한 프롬프트 없는 모드가 포함되어 있어, 사용자 프롬프트 없이 내장된 보캐뷸러리에서 객체를 감지하고 세그멘테이션합니다.

YOLOE-26은 객체 범주가 달라질 수 있지만 낮은 지연 시간과 안정적인 처리량이 여전히 중요한 동영상 분석, 로보틱스 인식, 엣지 기반 시스템과 같은 애플리케이션에 적합합니다. 또한 어노테이션 프로세스의 일부를 자동화하여 워크플로를 간소화하므로 데이터 라벨링과 데이터셋 큐레이션에도 특히 유용합니다.

프롬프트 기반 개념 세그멘테이션의 장단점#

프롬프트 기반 개념 세그멘테이션의 주요 이점은 다음과 같습니다.

• 더 빠른 반복 작업 및 프로토타이핑: 데이터셋을 다시 구축하거나 모델을 재학습하는 대신 프롬프트를 변경해 새로운 세그멘테이션 작업을 빠르게 테스트할 수 있으므로 실험과 개발 속도가 향상됩니다.
• 도메인 간 적응성: 동일한 PCS 모델을 워크플로를 거의 변경하지 않고 의료 영상, 로보틱스, 비디오 분석 등 다양한 도메인에 적용할 수 있는 경우가 많습니다.
• 대화형 개선: 사용자는 프롬프트를 반복적으로 조정하거나 가이드를 추가해 결과를 개선할 수 있으므로 재학습 없이도 모호한 장면이나 엣지 케이스를 더 쉽게 처리할 수 있습니다.

PCS에는 분명한 장점이 있지만, 다음과 같은 한계도 고려해야 합니다.

• 프롬프트 민감성: 프롬프트를 작성하거나 입력하는 방식이 조금만 달라져도 출력에 영향을 줄 수 있습니다. 프롬프트가 지나치게 모호하거나 구체적이면 불완전하거나 잘못된 세그멘테이션 결과가 나올 수 있습니다.
• 예측 가능성이 낮은 동작: 모델은 고정된 레이블 중에서 선택하는 대신 프롬프트를 해석하므로 장면과 입력에 따라 결과가 더 크게 달라질 수 있으며, 이는 엄격하게 제어되는 파이프라인에서 문제가 될 수 있습니다.
• 개념 해석의 모호성: 일부 개념은 주관적이거나 명확하게 정의되지 않아 사용자 간 또는 이미지 간 세그멘테이션 결과가 일관되지 않을 수 있습니다.
• 매우 구체적인 대상에 대한 제한된 신뢰성: 프롬프트 기반 모델은 미묘한 특징을 정밀하고 일관되게 식별해야 하는 결함 감지처럼 범위가 좁고 인스턴스별로 정의된 작업에서 일반적으로 신뢰성이 낮습니다.

프롬프트 기반 세그멘테이션과 기존 세그멘테이션 중 선택하기#

프롬프트 기반 세그멘테이션을 살펴보다 보면 어떤 애플리케이션에 가장 적합한지, 해결하려는 문제에는 Ultralytics YOLO26과 같은 기존 컴퓨터 비전 모델이 더 적합한지 궁금할 수 있습니다. 프롬프트 기반 세그멘테이션은 일반적인 객체에 효과적이지만, 매우 정밀하고 일관된 결과가 필요한 사용 사례에는 적합하지 않습니다.

결함 감지가 좋은 예입니다. 제조 분야의 결함은 작은 스크래치, 찌그러짐, 정렬 불량, 표면 불규칙성처럼 작고 미묘한 경우가 많습니다. 또한 재료, 조명, 생산 조건에 따라 결함의 형태가 크게 달라질 수 있습니다.

이러한 문제는 간단한 프롬프트로 설명하기 어렵고 범용 모델이 안정적으로 감지하기는 더욱 어렵습니다. 전반적으로 프롬프트 기반 모델은 결함을 놓치거나 불안정한 결과를 내는 경향이 있지만, 결함 데이터만으로 학습한 모델은 실제 검사 시스템에서 훨씬 더 신뢰할 수 있습니다.

핵심 요점#

프롬프트 기반 개념 세그멘테이션은 새로운 객체와 개념이 끊임없이 등장하는 현실에 맞춰 비전 시스템을 더 쉽게 조정할 수 있도록 합니다. 고정된 레이블에 제한되는 대신 사용자가 세그멘테이션할 대상을 설명하면 모델이 나머지를 처리하므로 시간을 절약하고 수작업을 줄일 수 있습니다. PCS에는 아직 한계가 있지만 이미 실제 세그멘테이션 활용 방식을 바꾸고 있으며, 앞으로 비전 시스템의 핵심 구성 요소가 될 가능성이 높습니다.

GitHub 리포지토리를 방문하고 커뮤니티에 참여해 AI에 대해 더 알아보세요. 로보틱스 분야의 AI와 제조 분야의 컴퓨터 비전에 관한 솔루션 페이지도 확인해 보세요. 지금 바로 비전 AI를 시작하려면 라이선스 옵션을 살펴보세요!