Interactive Segmentation

Интерактивная сегментация — это высокоинтерактивный подход к компьютерному зрению, при котором пользователь непрерывно или однократно вводит данные — например, задаёт клики, ограничивающие рамки или текстовые подсказки, — чтобы направить модель ИИ на выделение определённых объектов на изображении. В отличие от полностью автоматизированных методов, этот подход с участием человека позволяет точно определить, что именно нужно сегментировать, поэтому он особенно полезен при работе с неоднозначными визуальными данными, перекрывающимися объектами или неизвестными классами. За последние несколько лет появление базовых моделей значительно повысило скорость и точность этого процесса, превратив его в важный инструмент для аннотирования данных и высокоточной визуализации.

Как работает интерактивная сегментация#

В основе этого рабочего процесса лежит сегментация концепций по подсказкам, при которой модель интерпретирует указания пользователя и создаёт маску с точностью до пикселя. Пользователь может поставить «положительный» клик на объекте переднего плана, который хочет выбрать, и «отрицательный» клик на областях фона, которые нужно исключить. Продвинутые модели, такие как модель Segment Anything (SAM) и её преемники, Meta SAM 3, развивают этот подход, принимая различные типы жестов [1], ограничивающие рамки и даже текстовые описания для уточнения визуального поиска. Модель вычисляет оптимальную границу на основе этих подсказок, а пользователь может итеративно уточнять маску с помощью дополнительных кликов, пока не будет достигнута нужная точность.

Практические применения#

Интерактивная сегментация преобразует рабочие процессы во множестве отраслей, сочетая опыт человека с эффективностью ИИ.

• Медицинская визуализация: В сфере ИИ в здравоохранении врачи и радиологи используют интерактивные инструменты для выделения опухолей, поражений или определённых органов на МРТ- и КТ-снимках. Исследования пространственного моделирования медицинских изображений [2] показывают, что интерактивные клики позволяют медицинским специалистам быстро исправлять прогнозы ИИ, обеспечивая строгую точность, необходимую для диагностики пациентов.
• Геопространственное и спутниковое картографирование: Градостроители и специалисты по охране окружающей среды используют интерактивные модели для ускорения извлечения объектов ГИС [3]. Вместо ручной прорисовки сложных береговых линий, сельскохозяйственных границ или новых объектов инфраструктуры аналитики могут поставить несколько стратегически важных кликов и мгновенно создать точные географические полигоны.
• Обнаружение промышленных дефектов: В сфере ИИ в производстве инженеры по контролю качества могут использовать интерактивные подсказки для выделения микроскопических дефектов на производственных линиях, динамически адаптируя систему к новым типам дефектов без переобучения всей модели.

Интерактивная сегментация и сегментация экземпляров#

Хотя оба подхода предполагают разделение объектов на уровне пикселей, они предназначены для разных рабочих задач. Сегментация экземпляров обычно представляет собой полностью автоматизированный процесс, в котором модель, например Ultralytics YOLO26, обнаруживает объекты и обводит заранее определённые классы (например, «автомобиль», «человек», «собака») без участия пользователя. Подробнее об этом процессе можно узнать в нашем руководстве по сегментации экземпляров.

В свою очередь, интерактивная сегментация не зависит строго от заранее определённых классов. Она не привязана к классам: модель сегментирует всё, на что указывает пользователь, поэтому этот подход отлично подходит для конвейеров активного обучения, где новые объекты нужно быстро аннотировать и добавлять в пользовательские наборы данных с помощью таких инструментов, как Ultralytics Platform.

Пример с использованием Ultralytics#

Ты можешь легко реализовать интерактивную сегментацию в собственных проектах с помощью PyTorch и Python-пакета ultralytics. В этом примере мы используем FastSAM, чтобы сегментировать конкретный объект, задав подсказку в виде ограничивающей рамки.

from ultralytics import FastSAM

# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")

# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])

# Display the segmented result on screen
results[0].show()

Этот фрагмент кода показывает, как простая пространственная подсказка напрямую направляет модель на выделение интересующей области, упрощая сложные задачи сегментации изображений с помощью минимального объёма кода.