Применение Segment Anything Model 2 (SAM 2) от Meta AI

29 июля 2024 года Meta AI выпустила вторую версию своей модели Segment Anything — SAM 2. Новая модель определяет, какие пиксели принадлежат целевому объекту, как на изображениях, так и в видео. Она также может в реальном времени непрерывно отслеживать объект во всех кадрах видео. SAM 2 открывает широкие возможности для редактирования видео, смешанной реальности и ускоренной разметки визуальных данных для обучения систем компьютерного зрения.

Опираясь на успех оригинальной SAM, которую применяли в таких областях, как морская наука, анализ спутниковых снимков и медицина, SAM 2 решает такие задачи, как отслеживание быстро движущихся объектов и объектов с меняющимся внешним видом. Повышенные точность и эффективность делают её универсальным инструментом для широкого спектра задач. В этой статье мы расскажем, где можно применять SAM 2 и почему она важна для сообщества ИИ.

Что такое SAM 2?#

Segment Anything Model 2 — это продвинутая базовая модель, которая поддерживает визуальную сегментацию по запросу, или PVS, как для изображений, так и для видео. PVS — это метод, при котором модель может сегментировать или распознавать разные части изображения или видео на основе конкретных запросов или данных, предоставленных пользователем. Запросами могут служить точки, рамки или маски, выделяющие нужную область. Затем модель создаёт маску сегментации, очерчивающую указанную область.

Архитектура SAM 2 развивает оригинальную SAM: помимо сегментации изображений, она поддерживает и сегментацию видео. В её состав входит лёгкий декодер масок, который использует данные изображения и запросы для создания масок сегментации. Для работы с видео SAM 2 применяет систему памяти, которая сохраняет информацию о предыдущих кадрах и обеспечивает точное отслеживание объектов с течением времени. Система памяти включает компоненты для хранения и извлечения сведений об объектах, которые сегментирует модель. SAM 2 также справляется с перекрытиями, отслеживает объекты на нескольких кадрах и обрабатывает неоднозначные запросы, создавая несколько возможных масок. Благодаря передовой архитектуре SAM 2 эффективно работает как в статичной, так и в динамичной визуальной среде.

В частности, при сегментации видео SAM 2 обеспечивает более высокую точность, требуя в три раза меньше действий пользователя, чем предыдущие методы. При сегментации изображений SAM 2 превосходит оригинальную Segment Anything Model (SAM): модель работает в шесть раз быстрее и точнее. Это улучшение показано в исследовательской статье о SAM 2 на 37 разных наборах данных, в том числе на 23 наборах, на которых ранее тестировали SAM.

Рис. 1. Сравнение SAM и SAM 2.

Примечательно, что Meta AI разработала SAM 2, создав крупнейший на сегодняшний день набор данных для сегментации видео — SA-V. Этот обширный набор содержит более 50 000 видео и 35,5 миллиона масок сегментации, собранных при интерактивном участии пользователей. Разметчики предоставляли запросы и исправления, помогая модели обучаться на самых разных сценариях и типах объектов.

Применение Segment Anything Model 2#

Благодаря расширенным возможностям сегментации изображений и видео SAM 2 можно применять в самых разных отраслях. Рассмотрим несколько примеров.

SAM 2 для дополненной (AR) и виртуальной реальности (VR)#

Новую модель сегментации Meta AI можно использовать в приложениях дополненной (AR) и виртуальной реальности (VR). Например, SAM 2 может точно распознавать и сегментировать реальные объекты, делая взаимодействие с виртуальными объектами более реалистичным. Модель пригодится в самых разных областях, например в играх, образовании и обучении, где важно реалистичное взаимодействие виртуальных и реальных элементов.

По мере совершенствования устройств, таких как очки дополненной реальности, возможности SAM 2 вскоре могут появиться и в них. Представь, что ты надел очки и осматриваешь гостиную. Когда очки выделят и распознают миску твоей собаки, они могут напомнить тебе наполнить её водой, как показано на изображении ниже. Или, если ты готовишь новое блюдо, очки смогут определить ингредиенты на кухонной столешнице и дать пошаговые инструкции и советы, сделав процесс приготовления удобнее и помогая убедиться, что всё необходимое под рукой.

Рис. 2. Вскоре SAM 2 может использоваться в очках дополненной реальности.

Сонарная визуализация с Segment Anything Model 2#

Исследования с использованием модели SAM показали, что её можно применять в специализированных областях, например для сонарной визуализации. Сонарная визуализация сопряжена с особыми трудностями из-за низкого разрешения, высокого уровня шума и сложных форм объектов на изображениях. Исследователи дообучили SAM на сонарных изображениях и показали, что модель способна точно сегментировать различные подводные объекты, например морской мусор, геологические образования и другие представляющие интерес объекты. Точная и надёжная подводная визуализация может применяться в морских исследованиях, подводной археологии, управлении рыболовством и наблюдении для решения таких задач, как картирование среды обитания, поиск артефактов и обнаружение угроз.

Рис. 3. Пример применения дообученной SAM для сегментации сонарных изображений.

Поскольку SAM 2 развивает и улучшает многие возможности SAM, она может помочь усовершенствовать анализ сонарных изображений. Точная сегментация модели полезна для различных подводных задач, включая научные исследования и рыболовство. Например, SAM 2 может точно очерчивать подводные сооружения, обнаруживать морской мусор и распознавать объекты на изображениях с обзорного сонара, делая подводные исследования и мониторинг точнее и эффективнее.

Вот какие преимущества может дать использование SAM 2 для анализа сонарных изображений:

• Эффективность: сокращает время и усилия, необходимые для ручной сегментации, позволяя специалистам уделять больше внимания анализу и принятию решений.
• Согласованность: обеспечивает стабильные и воспроизводимые результаты сегментации, необходимые для крупномасштабных морских исследований и мониторинга.
• Универсальность: способна обрабатывать широкий спектр сонарных изображений, что делает её полезной для самых разных задач в морской науке и промышленности.

Интеграция SAM 2 в процессы сонарной визуализации позволяет морской отрасли повысить эффективность, точность и надёжность подводных исследований и анализа, что в конечном итоге улучшит результаты морских исследований.

Использование SAM 2 в автономных транспортных средствах#

Ещё одна область применения SAM 2 — автономные транспортные средства. SAM 2 может в реальном времени точно распознавать пешеходов, другие транспортные средства, дорожные знаки и препятствия. Детализация, которую обеспечивает SAM 2, важна для безопасной навигации и принятия решений, позволяющих избегать столкновений. Точно обрабатывая визуальные данные, SAM 2 помогает создавать подробную и надёжную карту окружения, что способствует принятию более взвешенных решений.

Рис. 4. Использование сегментации для анализа дорожного движения.

Способность SAM 2 эффективно работать при разном освещении, изменении погоды и в динамичной среде делает её надёжным решением для автономных транспортных средств. Будь то оживлённая городская улица или туманное шоссе, SAM 2 стабильно и точно обнаруживает и сегментирует объекты, чтобы транспортное средство могло правильно реагировать на различные ситуации.

Однако важно учитывать некоторые ограничения. При работе со сложными быстро движущимися объектами SAM 2 иногда может упускать мелкие детали, а предсказания модели могут быть нестабильными от кадра к кадру. Кроме того, в загруженных сценах SAM 2 иногда может путать несколько похожих объектов. Именно поэтому интеграция дополнительных датчиков и технологий имеет решающее значение для задач автономного вождения.

Мониторинг окружающей среды с помощью SAM 2#

Мониторинг окружающей среды с помощью компьютерного зрения может быть непростой задачей, особенно при нехватке размеченных данных, но именно это делает такое применение SAM 2 интересным. SAM 2 можно использовать для отслеживания и анализа изменений природных ландшафтов: модель точно сегментирует и распознаёт различные объекты окружающей среды, например леса, водоёмы, городские территории и сельскохозяйственные угодья, на спутниковых снимках и изображениях, полученных с дронов. Точная сегментация помогает отслеживать вырубку лесов, урбанизацию и изменения в землепользовании с течением времени, предоставляя ценные данные для охраны окружающей среды и планирования.

Рис. 5. Использование SAM 2 для мониторинга окружающей среды.

Вот некоторые преимущества использования модели вроде SAM 2 для анализа изменений окружающей среды с течением времени:

• Раннее обнаружение: выявляет первые признаки деградации окружающей среды, позволяя своевременно принять меры и предотвратить дальнейший ущерб.
• Управление ресурсами: помогает эффективно управлять природными ресурсами, предоставляя подробные сведения о состоянии различных объектов окружающей среды.
• Сохранение биоразнообразия: помогает отслеживать дикую природу и контролировать биоразнообразие, способствуя природоохранной деятельности и защите исчезающих видов.
• Реагирование на стихийные бедствия: помогает оценивать последствия таких природных катастроф, как наводнения, лесные пожары и ураганы, обеспечивая быстрое и эффективное реагирование и планирование восстановления.

Видеомонтаж с SAM 2: попробуй сам#

Демо Segment Anything 2 позволяет попробовать модель на видео. Используя возможности PVS в SAM 2, мы взяли старое видео Ultralytics на YouTube, сегментировали в нём три объекта или человека и скрыли их пикселизацией. Обычно удаление из видео трёх человек таким способом занимает много времени и требует вручную создавать маску для каждого кадра. SAM 2 упрощает этот процесс. Всего за несколько нажатий в демоверсии можно за считаные секунды скрыть три интересующих объекта и защитить их от идентификации.

Рис. 6. Тестирование демоверсии SAM 2.

Демонстрационная версия также позволяет попробовать несколько визуальных эффектов: например, подсветить выбранные для отслеживания объекты или стереть отслеживаемые объекты. Если демонстрация тебе понравилась и ты готов начать создавать решения с SAM 2, загляни на страницу документации по модели Ultralytics SAM 2, где приведены подробные инструкции по работе с моделью. Изучи возможности модели, шаги установки и примеры, чтобы в полной мере использовать потенциал SAM 2 в своих проектах. Позже Meta выпустила SAM 3, добавившую сегментацию концепций по текстовым запросам.

Подводя итоги#

Segment Anything Model 2 от Meta AI меняет подход к сегментации видео и изображений. По мере развития таких задач, как отслеживание объектов, появляются новые возможности для редактирования видео, смешанной реальности, научных исследований и медицинской визуализации. Упрощая сложные задачи и ускоряя разметку, SAM 2 становится важным инструментом для сообщества ИИ. Продолжая исследовать и совершенствовать такие модели, как SAM 2, мы можем ожидать ещё больше применений и достижений в самых разных областях.

Узнай больше об ИИ: изучи наш репозиторий на GitHub и присоединяйся к нашему сообществу. Подробную информацию о применении ИИ в производстве и здравоохранении ты найдёшь на страницах наших решений.