Interactive Segmentation

Интерактивная сегментация — это подход к компьютерному зрению с высоким уровнем взаимодействия, при котором пользователь предоставляет непрерывные или разовые данные (такие как клики, рамки BBox или текстовые промпты), чтобы помочь ИИ-модели выделить конкретные объекты на изображении. В отличие от полностью автоматизированных методов, эта техника с участием человека позволяет точно определять, что именно нужно сегментировать, что особенно ценно при работе с неоднозначными визуальными данными, перекрывающимися объектами или незнакомыми классами. За последние несколько лет появление базовых моделей значительно повысило скорость и точность этого процесса, превратив его в важнейший инструмент для разметки данных и высокоточной визуализации.

Как работает интерактивная сегментация#

В основе рабочего процесса лежит сегментация концептов по промптам, где модель интерпретирует подсказки пользователя для создания маски с точностью до пикселя. Ты можешь сделать «положительный» клик на переднем плане по объекту, который хочешь выбрать, и «отрицательный» клик по областям фона, которые нужно исключить. Передовые модели, такие как Segment Anything Model (SAM) и ее преемники, Meta SAM 3, идут еще дальше, принимая различные типы жестов [1], рамки BBox и даже текстовые описания для поиска объектов. Модель вычисляет оптимальную границу на основе этих промптов, а ты можешь итеративно уточнять маску с помощью дополнительных кликов до достижения нужной точности.

Реальные приложения#

Интерактивная сегментация трансформирует рабочие процессы во многих отраслях, объединяя опыт человека с эффективностью ИИ.

• Медицинская визуализация: В сфере ИИ в здравоохранении врачи и радиологи используют интерактивные инструменты для выделения опухолей, поражений или конкретных органов на МРТ- и КТ-сканах. Исследования в области пространственного моделирования медицинских изображений [2] показывают, что интерактивные клики позволяют специалистам быстро исправлять предсказания ИИ, обеспечивая строгую точность, необходимую для диагностики пациентов.
• Геопространственный и спутниковый анализ: Городские планировщики и экологи используют интерактивные модели для ускорения извлечения ГИС-объектов [3]. Вместо ручной обводки сложных береговых линий, границ сельскохозяйственных угодий или новой инфраструктуры аналитики могут сделать несколько стратегических кликов для мгновенного создания точных географических полигонов.
• Промышленное обнаружение дефектов: Для ИИ в производстве инженеры по контролю качества могут использовать интерактивные промпты для выделения микроскопических дефектов на производственных линиях, динамически адаптируя систему под новые типы дефектов без переобучения всей модели.

Интерактивная сегментация против сегментации экземпляров#

Хотя оба концепта связаны с разделением объектов на уровне пикселей, они служат разным операционным целям. Сегментация экземпляров обычно представляет собой полностью автоматизированный процесс, в котором такая модель, как Ultralytics YOLO26, обнаруживает и обводит заранее определенные классы (например, «car», «person», «dog») без участия пользователя. Ты можешь узнать больше о том, как это работает, в нашем руководстве по сегментации экземпляров.

И наоборот, интерактивная сегментация не полагается строго на предопределенные классы. Она не зависит от классов, то есть сегментирует все, на что указывает пользователь, что делает ее отличным выбором для конвейеров активного обучения, где новые объекты необходимо быстро размечать и добавлять в пользовательские наборы данных с помощью таких инструментов, как Ultralytics Platform.

Пример использования Ultralytics#

Ты можешь легко реализовать интерактивную сегментацию в своих проектах, используя PyTorch и пакет ultralytics для Python. В этом примере мы используем FastSAM для сегментации конкретного объекта, передавая промпт с рамкой BBox.

from ultralytics import FastSAM

# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")

# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])

# Display the segmented result on screen
results[0].show()

Этот сниппет демонстрирует, как простой пространственный промпт напрямую направляет модель на выделение области интереса, упрощая сложные задачи сегментации изображений с минимальным количеством кода.