Visual Prompting

Визуальное промптирование — это способ указать модели компьютерного зрения, что нужно сегментировать или обнаружить, отметив цель прямо на изображении щелчком мыши, рамкой, наброском, маской или примером, а не описывая её словами. Фундаментальные модели с поддержкой промптов, например модель сегментации любых объектов (SAM) от Meta, преобразуют каждую отметку в эмбеддинг и предсказывают маску указанного объекта без повторного обучения. Визуальный промпт указывает на конкретный экземпляр или показывает пример того, что нужно найти; это помогает, когда целевой объект трудно описать с помощью текстового промпта, например если нужно найти конкретный дефект или незнакомую деталь. Визуальная настройка промптов имеет похожее название, но это метод настройки промптов, при котором во время дообучения обучаются дополнительные входные токены; при этом изображение никто не размечает.

Как работает визуальное промптирование#

Модель SAM, которую Meta выпустила в 2023 году вместе с набором данных SA-1B, содержащим 1,1 млрд масок на 11 млн изображений, разделяет задачу на три части. Большой энкодер изображений — визуальный трансформер — обрабатывает каждое изображение один раз; легковесный энкодер промптов преобразует точки и рамки в позиционные эмбеддинги; декодер масок объединяет их и примерно за 50 миллисекунд создает маску в веб-браузере, поэтому каждый новый щелчок интерактивно обновляет результат. Один щелчок может быть неоднозначен: он может указывать на рубашку или на человека, который ее носит, поэтому SAM может вернуть три варианта маски с оценкой качества каждого. Модель SAM 2 от Meta (2024) расширяет поддержку промптов на видео: выбранный щелчком объект отслеживается в следующих кадрах с учетом предыдущих. SAM 2.1 работает в пакете Ultralytics, где щелчок задается точкой с меткой 1 для переднего плана или 0 для фона:

from ultralytics import SAM

# Загрузка базовой модели SAM 2.1 от Meta
model = SAM("sam2.1_b.pt")

# Один щелчок по переднему плану (метка 1) на мужчине в темном пальто
results = model("https://ultralytics.com/images/bus.jpg", points=[280, 600], labels=[1])
result = results[0]

# Сохранение изображения с маской, предсказанной для объекта, отмеченного щелчком
result.save(filename="sam_point_prompt.jpg")

На сохраненном изображении показана маска, которую SAM 2.1 предсказывает по одному щелчку. Интерактивная сегментация повторяет этот шаг, пока маска не станет правильной. Так работает режим интеллектуальной аннотации в платформе Ultralytics: каждый щелчок превращается в точечный промпт SAM, щелчок вне текущей маски добавляет соответствующую область, щелчок внутри маски удаляет ее, а результат сохраняется в виде полигона, рамки или ориентированной рамки — в зависимости от типа задачи набора данных.

Типы визуальных промптов#

• Точки и рамки: Щелчки по переднему плану и фону выбирают области или исключают их, а приблизительная рамка вокруг объекта менее неоднозначна, чем щелчок. Кроме того, рамки детектора можно автоматически использовать как промпты для сегментатора.
• Маски и наброски: Грубая маска с предыдущего шага или штрихи, нарисованные поверх объекта, помогают уточнить предсказание, с которым не справились одни только щелчки.
• Рамки-примеры: рамка вокруг одного примера предлагает модели найти все похожие объекты, поэтому для подсчёта всех шурупов одного типа достаточно одной рамки-примера. Такие примеры принимают детекторы открытого словаря, например T-Rex2 и YOLOE, а также SAM 3 от Meta (2025).
• Примеры в контексте: Изображение-пример вместе с желаемым результатом, например маской или картой границ, задает саму задачу. Модель по аналогии дополняет результат для нового изображения.
• Отметки для визуально-языковых моделей: В методе Set-of-Mark на области изображения наносятся нумерованные отметки, чтобы модель могла сослаться в ответе на «область 3». Это улучшает привязку ответа модели к изображению.

Примеры применения в реальных условиях#

• Аннотация данных: Несколько щелчков по каждому объекту заменяют обводку полигона точка за точкой и снижают затраты на создание наборов данных для сегментации экземпляров.
• Медицинская визуализация: MedSAM адаптировала SAM для 1 570 263 пар медицинских изображений и масок в 10 модальностях визуализации, поэтому рамка врача вокруг органа или поражения позволяет получить его контур.
• Робототехника: Оператор щелчком отмечает объект на изображении с камеры робота, а полученная маска указывает точные пиксели объекта, нужные роботу для планирования захвата.