Приложения модели Meta AI Segment Anything Model 2 (SAM 2)

29 июля 2024 года компания Meta AI выпустила вторую версию своей модели сегментации Segment Anything Model, SAM 2. Новая модель способна точно определять, какие пиксели принадлежат целевому объекту, как на изображениях, так и на видео! Самое лучшее — это то, что модель способна последовательно отслеживать объект на всех кадрах видео в режиме реального времени. SAM 2 открывает захватывающие возможности для редактирования видео, опыта смешанной реальности и более быстрой аннотации визуальных данных для обучения систем компьютерного зрения.

Основываясь на успехе оригинальной SAM, которая использовалась в таких областях, как морская наука, спутниковые снимки и медицина, SAM 2 решает такие задачи, как работа с быстро движущимися объектами и изменениями внешнего вида. Улучшенная точность и эффективность делают ее универсальным инструментом для широкого спектра применений. В этой статье мы сосредоточимся на том, где может применяться SAM 2 и почему это важно для сообщества ИИ.

Link to this sectionЧто такое SAM 2?#

Segment Anything Model 2 — это продвинутая базовая модель, поддерживающая promptable visual segmentation или PVS как для изображений, так и для видео. PVS — это метод, с помощью которого модель может segment или идентифицировать различные части изображения или видео на основе конкретных подсказок или входных данных, предоставленных пользователем. Эти подсказки могут быть в форме кликов, рамок или масок, выделяющих интересующую область. Затем модель генерирует segmentation mask, которая очерчивает указанную область.

Архитектура SAM 2 развивает идеи оригинальной SAM, расширяясь от сегментации изображений до включения сегментации видео. В ней используется легкий декодер масок, который использует данные изображения и промпты для создания масок сегментации. Для видео в SAM 2 внедрена система памяти, которая помогает запоминать информацию из предыдущих кадров, обеспечивая точное отслеживание с течением времени. Эта система памяти включает компоненты для сохранения и извлечения деталей о сегментируемых объектах. SAM 2 также может справляться с перекрытиями (окклюзиями), отслеживать объекты на нескольких кадрах и управлять неоднозначными промптами, генерируя несколько возможных масок. Передовая архитектура SAM 2 делает ее высокоэффективной как в статических, так и в динамических визуальных средах.

В частности, в отношении сегментации видео, SAM 2 достигает более высокой точности при в три раза меньшем количестве взаимодействий с пользователем по сравнению с предыдущими методами. Для сегментации изображений SAM 2 превосходит оригинальную Segment Anything Model (SAM), работая в шесть раз быстрее и точнее. Это улучшение было продемонстрировано в исследовательской работе по SAM 2 на 37 различных наборах данных, включая 23, на которых ранее тестировалась SAM.

Рис. 1. Сравнение SAM и SAM 2.

Интересно, что SAM 2 от Meta AI была разработана путем создания крупнейшего на сегодняшний день dataset для сегментации видео — SA-V. Этот обширный набор данных включает более 50 000 видео и 35,5 миллионов масок сегментации и был собран благодаря интерактивному вкладу пользователей. Аннотаторы предоставляли подсказки и исправления, чтобы помочь модели обучаться на самых разных сценариях и типах объектов.

Link to this sectionПриложения Segment Anything Model 2#

Благодаря своим передовым возможностям сегментации изображений и видео, SAM 2 может использоваться в различных отраслях. Давай изучим некоторые из этих приложений.

Link to this sectionSAM 2 открывает возможности для дополненной реальности (AR) и виртуальной реальности (VR)#

Новая модель сегментации от Meta AI может быть использована в приложениях дополненной (AR) и виртуальной (VR) реальности. Например, SAM 2 может точно идентифицировать и сегментировать объекты реального мира, делая взаимодействие с виртуальными объектами более реалистичным. Это может быть полезно в различных областях, таких как игры, образование и обучение, где необходимо реалистичное взаимодействие виртуальных и реальных элементов.

По мере того как устройства, такие как AR-очки, становятся все более совершенными, возможности SAM 2 вскоре могут быть интегрированы в них. Представь, что ты надеваешь очки и оглядываешь свою гостиную. Когда очки сегментируют и замечают миску с водой для собаки, они могут напомнить тебе наполнить ее, как показано на изображении ниже. Или, если ты готовишь по новому рецепту, очки могут определить ингредиенты на столешнице и предоставить пошаговые инструкции и советы, улучшая твой процесс приготовления и гарантируя, что все необходимое под рукой.

Рис. 2. SAM 2 вскоре может использоваться в AR-очках.

Link to this sectionГидролокационная визуализация с Segment Anything Model 2#

Исследования с использованием модели SAM показали, что ее можно применять в специализированных областях, таких как гидролокационная визуализация (сонар). Сонарные изображения создают уникальные проблемы из-за низкого разрешения, высокого уровня шума и сложных форм объектов внутри изображений. Настроив (fine-tuning) SAM для сонарных изображений, исследователи продемонстрировали ее способность точно сегментировать различные подводные объекты, такие как морской мусор, геологические образования и другие объекты интереса. Точная и надежная подводная визуализация может использоваться в морских исследованиях, подводной археологии, управлении рыболовством и наблюдении для таких задач, как картирование среды обитания, обнаружение артефактов и выявление угроз.

Рис. 3. Пример использования дообученной SAM для сегментации сонарных изображений.

Поскольку SAM 2 основывается на многих задачах, с которыми сталкивается SAM, и улучшает их решение, она обладает потенциалом для дальнейшего улучшения анализа сонарных изображений. Ее возможности точной сегментации могут помочь в различных морских приложениях, включая научные исследования и рыболовство. Например, SAM 2 может эффективно очерчивать подводные структуры, обнаруживать морской мусор и идентифицировать объекты на сонарных изображениях переднего обзора, способствуя более точному и эффективному подводному исследованию и мониторингу.

Вот потенциальные преимущества использования SAM 2 для анализа сонарных изображений:

• Эффективность: Сокращает время и усилия, необходимые для ручной сегментации, позволяя профессионалам больше сосредоточиться на анализе и принятии решений.
• Согласованность: Обеспечивает последовательные и воспроизводимые результаты сегментации, что необходимо для крупномасштабных морских исследований и мониторинга.
• Универсальность: Способна обрабатывать широкий спектр сонарных изображений, что делает ее полезной для разнообразных применений в морской науке и индустрии.

Интегрируя SAM 2 в процессы сонарной визуализации, морская индустрия может достичь более высокой эффективности, точности и надежности в подводных исследованиях и анализе, что в конечном итоге приведет к лучшим результатам в морских исследованиях.

Link to this sectionИспользование SAM 2 в автономных транспортных средствах#

Еще одно применение SAM 2 — это автономные транспортные средства. SAM 2 может точно идентифицировать такие объекты, как пешеходы, другие транспортные средства, дорожные знаки и препятствия в режиме реального времени. Уровень детализации, который может обеспечить SAM 2, важен для принятия решений по безопасной навигации и предотвращению столкновений. Точно обрабатывая визуальные данные, SAM 2 помогает создать детальную и надежную карту окружающей среды и приводит к лучшему принятию решений.

Рис. 4. Использование сегментации для понимания дорожной ситуации.

Способность SAM 2 хорошо работать в различных условиях освещения, при изменениях погоды и в динамических средах делает ее надежной для автономных транспортных средств. Будь то оживленная городская улица или туманное шоссе, SAM 2 может стабильно идентифицировать и сегментировать объекты, чтобы автомобиль мог правильно реагировать на различные ситуации.

Однако есть некоторые ограничения, которые стоит учитывать. В случае сложных, быстро движущихся объектов SAM 2 иногда может упускать мелкие детали, и ее предсказания могут становиться нестабильными на разных кадрах. Также SAM 2 иногда может путать несколько похожих объектов в людных сценах. Эти проблемы показывают, почему интеграция дополнительных сенсоров и технологий критически важна в приложениях автономного вождения.

Link to this sectionЭкологический мониторинг с помощью SAM 2#

Экологический мониторинг с использованием компьютерного зрения может быть сложной задачей, особенно когда не хватает аннотированных данных, но это также делает его интересным приложением для SAM 2. SAM 2 может быть использована для отслеживания и анализа изменений в природных ландшафтах путем точной сегментации и идентификации различных экологических характеристик, таких как леса, водоемы, городские районы и сельскохозяйственные земли на основе спутниковых или беспилотных изображений. В частности, точная сегментация помогает в мониторинге обезлесения, урбанизации и изменений в землепользовании с течением времени, предоставляя ценные данные для охраны окружающей среды и планирования.

Вот некоторые из преимуществ использования такой модели, как SAM 2, для анализа экологических изменений с течением времени:

• Раннее обнаружение: Выявляет ранние признаки деградации окружающей среды, позволяя своевременно вмешаться для предотвращения дальнейшего ущерба.
• Управление ресурсами: Помогает эффективно управлять природными ресурсами, предоставляя подробную информацию о состоянии различных экологических объектов.
• Сохранение биоразнообразия: Помогает отслеживать дикую природу и контролировать биоразнообразие, внося вклад в усилия по сохранению и защите исчезающих видов.
• Реагирование на стихийные бедствия: Помогает в оценке воздействия стихийных бедствий, таких как наводнения, лесные пожары и ураганы, обеспечивая быстрое и эффективное планирование реагирования и восстановления.

Link to this sectionРедактирование видео с SAM 2: Попробуй сам#

Демонстрация Segment Anything 2 — отличный способ попробовать модель на видео. Используя возможности PVS модели SAM 2, мы взяли старое видео с YouTube канала Ultralytics и смогли сегментировать трех объектов или людей в видео и пикселизировать их. Традиционно вырезание трех человек из такого видео было бы трудоемким и утомительным процессом, требующим ручной покадровой маскировки. Однако SAM 2 упрощает этот процесс. С помощью нескольких кликов в демо-версии ты можешь защитить личности трех объектов интереса за считанные секунды.

Рис. 6. Пробуем демо-версию SAM 2.

Демо-версия также позволяет попробовать несколько различных визуальных эффектов, таких как подсветка выбранных для отслеживания объектов и стирание отслеживаемых объектов. Если тебе понравилась демо-версия и ты готов начать внедрять инновации с SAM 2, загляни на страницу документации модели Ultralytics SAM 2 для получения подробных инструкций по работе с моделью. Изучи функции, этапы установки и примеры, чтобы полностью использовать потенциал SAM 2 в своих проектах!

Link to this sectionЗаключение#

Модель Segment Anything Model 2 (SAM 2) от Meta AI трансформирует сегментацию видео и изображений. По мере того как задачи, такие как отслеживание объектов, улучшаются, мы открываем новые возможности в редактировании видео, смешанной реальности, научных исследованиях и медицинской визуализации. Делая сложные задачи проще и ускоряя аннотирование, SAM 2 готова стать важным инструментом для сообщества ИИ. Поскольку мы продолжаем исследовать и внедрять инновации с помощью таких моделей, как SAM 2, мы можем ожидать еще более революционных приложений и достижений в различных областях!

Узнай больше об ИИ, изучив наш репозиторий GitHub и присоединившись к нашему сообществу. Ознакомься с нашими страницами решений для получения подробной информации об ИИ в производстве и здравоохранении. 🚀