Interactive Segmentation

Интерактивная сегментация — это высокоэффективный совместный подход к компьютерному зрению, при котором ты предоставляешь непрерывные или однократные входные данные — например, клики, ограничивающие рамки или текстовые подсказки, — чтобы направлять ИИ-модель в выделении конкретных объектов на изображении. В отличие от полностью автоматизированных методов, эта технология «человек в контуре» позволяет тебе точно определять, что именно нужно сегментировать, что особенно ценно при работе с неоднозначными визуальными данными, перекрывающимися объектами или ранее неизвестными классами. За последние несколько лет внедрение фундаментальных моделей радикально улучшило скорость и точность этого процесса, превратив его в жизненно важный инструмент для аннотирования данных и прецизионной визуализации.

Link to this sectionКак работает интерактивная сегментация#

В основе рабочего процесса лежит сегментация концепций по подсказкам, где модель интерпретирует твои указания для создания попиксельно точной маски. Ты можешь поставить «положительный» клик на объект переднего плана, который хочешь выбрать, и «отрицательный» клик на области фона, которые хочешь исключить. Передовые модели, такие как Segment Anything Model (SAM) и её преемники, например Meta SAM 3, идут дальше, принимая различные типы жестов [1], ограничивающие рамки и даже текстовые описания для обоснования визуального поиска. Модель вычисляет оптимальную границу на основе этих подсказок, и ты можешь итеративно уточнять маску дополнительными кликами до тех пор, пока не будет достигнута желаемая точность.

Link to this sectionРеальные приложения#

Интерактивная сегментация трансформирует рабочие процессы во многих отраслях, объединяя опыт человека с эффективностью ИИ.

• Медицинская визуализация: В области ИИ в здравоохранении врачи и радиологи используют интерактивные инструменты для выделения опухолей, поражений или конкретных органов на МРТ и КТ-сканах. Исследования в области пространственного моделирования медицинских изображений [2] показывают, что интерактивные клики позволяют медицинским специалистам быстро корректировать предсказания ИИ, обеспечивая строгую точность, необходимую для диагностики пациента.
• Геопространственное и спутниковое картографирование: Городские планировщики и экологи используют интерактивные модели для ускорения извлечения объектов ГИС [3]. Вместо ручной отрисовки сложных береговых линий, сельскохозяйственных границ или новой инфраструктуры, аналитики могут сделать несколько стратегических кликов, чтобы мгновенно создать точные географические полигоны.
• Обнаружение промышленных дефектов: Для ИИ в производстве инженеры по контролю качества могут использовать интерактивные подсказки, чтобы выделять микроскопические дефекты на производственных линиях, динамически адаптируя систему к новым типам повреждений без необходимости переобучения всей модели.

Link to this sectionИнтерактивная сегментация против сегментации экземпляров#

Хотя оба понятия включают разделение объектов на пиксельном уровне, они служат разным операционным целям. Сегментация экземпляров — это обычно полностью автоматизированный процесс, при котором модель, такая как Ultralytics YOLO26, обнаруживает и очерчивает предопределенные классы (например, «автомобиль», «человек», «собака») без вмешательства пользователя. Ты можешь узнать больше о том, как это работает, в нашем руководстве по сегментации экземпляров.

Напротив, интерактивная сегментация не опирается строго на предопределенные классы. Она не зависит от классов, а значит, сегментирует то, на что ты указываешь, что делает её отличным решением для конвейеров активного обучения, где новые объекты должны быть быстро аннотированы и добавлены в пользовательские наборы данных с помощью инструментов, таких как Ultralytics Platform.

Link to this sectionПример использования Ultralytics#

Ты можешь легко реализовать интерактивную сегментацию в своих проектах, используя PyTorch и Python-пакет ultralytics. В этом примере мы используем FastSAM для сегментации конкретного объекта, предоставляя подсказку в виде ограничивающей рамки.

from ultralytics import FastSAM

# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")

# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])

# Display the segmented result on screen
results[0].show()

Этот фрагмент кода демонстрирует, как простая пространственная подсказка напрямую направляет модель для выделения интересующей области, упрощая сложные задачи сегментации изображений с минимумом кода.