Приложения модели Meta AI Segment Anything Model 2 (SAM 2)

29 июля 2024 года Meta AI выпустила вторую версию своей модели Segment Anything Model, SAM 2. Новая модель может точно определять, какие пиксели принадлежат целевому объекту как на изображениях, так и в видео! Самое приятное то, что модель способна стабильно отслеживать объект во всех кадрах видео в режиме реального времени. SAM 2 открывает захватывающие возможности для редактирования видео, опыта смешанной реальности и более быстрой аннотации визуальных данных для обучения систем компьютерного зрения.

Опираясь на успех оригинальной SAM, которая использовалась в таких областях, как морские науки, спутниковые снимки и медицина, SAM 2 решает такие задачи, как быстро движущиеся объекты и изменения внешнего вида. Улучшенная точность и эффективность делают ее универсальным инструментом для широкого спектра применений. В этой статье мы сосредоточимся на том, где можно применять SAM 2 и почему это важно для сообщества ИИ.

Что такое SAM 2?#

Segment Anything Model 2 — это передовая базовая модель, которая поддерживает интерактивную визуальную сегментацию (PVS) как на изображениях, так и в видео. PVS — это методика, при которой модель может сегментировать или идентифицировать различные части изображения или видео на основе определенных подсказок или входных данных, предоставленных пользователем. Эти подсказки могут быть в виде кликов, рамок или масок, которые выделяют интересующую область. Затем модель генерирует маску сегментации, которая обводит указанную область.

Архитектура SAM 2 развивает идеи оригинальной SAM, расширяясь от сегментации изображений до включения сегментации видео. В ней используется легкий декодер масок, который использует данные изображения и промпты для создания масок сегментации. Для видео в SAM 2 внедрена система памяти, которая помогает запоминать информацию из предыдущих кадров, обеспечивая точное отслеживание с течением времени. Эта система памяти включает компоненты для сохранения и извлечения деталей о сегментируемых объектах. SAM 2 также может справляться с перекрытиями (окклюзиями), отслеживать объекты на нескольких кадрах и управлять неоднозначными промптами, генерируя несколько возможных масок. Передовая архитектура SAM 2 делает ее высокоэффективной как в статических, так и в динамических визуальных средах.

В частности, что касается сегментации видео, SAM 2 достигает более высокой точности при в три раза меньшем количестве взаимодействий с пользователем по сравнению с предыдущими методами. Что касается сегментации изображений, SAM 2 превосходит оригинальную Segment Anything Model (SAM), будучи в шесть раз быстрее и точнее. Это улучшение было продемонстрировано в исследовательской работе по SAM 2 на 37 различных наборах данных, включая 23, на которых ранее тестировалась SAM.

Fig 1. Сравнение SAM и SAM 2.

Интересно, что SAM 2 от Meta AI была разработана путем создания крупнейшего на сегодняшний день набора данных для сегментации видео — набора данных SA-V. Этот обширный набор данных включает более 50 000 видео и 35,5 миллионов масок сегментации и был собран благодаря интерактивному вкладу пользователей. Аннотаторы предоставляли подсказки и исправления, чтобы помочь модели учиться на самых разных сценариях и типах объектов.

Приложения Segment Anything Model 2#

Благодаря своим передовым возможностям сегментации изображений и видео, SAM 2 может использоваться в различных отраслях. Давай изучим некоторые из этих приложений.

SAM 2 открывает возможности для дополненной реальности (AR) и виртуальной реальности (VR)#

Новая модель сегментации от Meta AI может использоваться для приложений дополненной (AR) и виртуальной (VR) реальности. Например, SAM 2 может точно определять и сегментировать реальные объекты и делать взаимодействие с виртуальными объектами более реалистичным. Она может быть полезна в различных областях, таких как игры, образование и обучение, где необходимо реалистичное взаимодействие между виртуальными и реальными элементами.

По мере того как устройства, такие как AR-очки, становятся все более совершенными, возможности SAM 2 вскоре могут быть интегрированы в них. Представь, что ты надеваешь очки и оглядываешь свою гостиную. Когда очки сегментируют и замечают миску с водой для собаки, они могут напомнить тебе наполнить ее, как показано на изображении ниже. Или, если ты готовишь по новому рецепту, очки могут определить ингредиенты на столешнице и предоставить пошаговые инструкции и советы, улучшая твой процесс приготовления и гарантируя, что все необходимое под рукой.

Fig 2. SAM 2 скоро сможет использоваться в AR-очках.

Гидролокационная визуализация с Segment Anything Model 2#

Исследования с использованием модели SAM показали, что ее можно применять в специализированных областях, таких как гидролокационная съемка. Гидролокационная съемка сопряжена с уникальными трудностями из-за низкого разрешения, высокого уровня шума и сложных форм объектов на изображениях. Путем дообучения SAM на гидролокационных изображениях исследователи продемонстрировали ее способность точно сегментировать различные подводные объекты, такие как морской мусор, геологические образования и другие интересные элементы. Точная и надежная подводная съемка может использоваться в морских исследованиях, подводной археологии, управлении рыболовством и наблюдении для таких задач, как картирование среды обитания, обнаружение артефактов и обнаружение угроз.

Fig 3. Пример использования дообученной SAM для сегментации гидролокационных изображений.

Поскольку SAM 2 основывается на многих проблемах, с которыми сталкивается SAM, и решает их, у нее есть потенциал еще больше улучшить анализ гидролокационных изображений. Ее возможности точной сегментации могут помочь в различных морских приложениях, включая научные исследования и рыболовство. Например, SAM 2 может эффективно обводить подводные структуры, обнаруживать морской мусор и идентифицировать объекты на гидролокационных изображениях переднего обзора, способствуя более точному и эффективному подводному исследованию и мониторингу.

Вот потенциальные преимущества использования SAM 2 для анализа сонарных изображений:

• Эффективность: Сокращает время и усилия, необходимые для ручной сегментации, позволяя профессионалам больше сосредоточиться на анализе и принятии решений.
• Согласованность: Обеспечивает последовательные и воспроизводимые результаты сегментации, что необходимо для крупномасштабных морских исследований и мониторинга.
• Универсальность: Способна обрабатывать широкий спектр сонарных изображений, что делает ее полезной для разнообразных применений в морской науке и индустрии.

Интегрируя SAM 2 в процессы сонарной визуализации, морская индустрия может достичь более высокой эффективности, точности и надежности в подводных исследованиях и анализе, что в конечном итоге приведет к лучшим результатам в морских исследованиях.

Использование SAM 2 в автономных транспортных средствах#

Еще одно применение SAM 2 — автономные транспортные средства. SAM 2 может точно идентифицировать такие объекты, как пешеходы, другие транспортные средства, дорожные знаки и препятствия в режиме реального времени. Уровень детализации, который может обеспечить SAM 2, имеет важное значение для принятия решений о безопасной навигации и предотвращении столкновений. Точно обрабатывая визуальные данные, SAM 2 помогает создать подробную и надежную карту окружающей среды и приводит к более качественному принятию решений.

Рис. 4. Использование сегментации для понимания дорожной ситуации.

Способность SAM 2 хорошо работать в различных условиях освещения, при изменениях погоды и в динамических средах делает ее надежной для автономных транспортных средств. Будь то оживленная городская улица или туманное шоссе, SAM 2 может стабильно идентифицировать и сегментировать объекты, чтобы автомобиль мог правильно реагировать на различные ситуации.

Однако есть некоторые ограничения, которые стоит учитывать. В случае сложных, быстро движущихся объектов SAM 2 иногда может упускать мелкие детали, и ее предсказания могут становиться нестабильными на разных кадрах. Также SAM 2 иногда может путать несколько похожих объектов в людных сценах. Эти проблемы показывают, почему интеграция дополнительных сенсоров и технологий критически важна в приложениях автономного вождения.

Экологический мониторинг с помощью SAM 2#

Мониторинг окружающей среды с помощью компьютерного зрения может быть сложной задачей, особенно когда не хватает аннотированных данных, но это также делает его интересным применением для SAM 2. SAM 2 можно использовать для отслеживания и анализа изменений в природных ландшафтах путем точной сегментации и идентификации различных экологических особенностей, таких как леса, водоемы, городские районы и сельскохозяйственные земли, по спутниковым снимкам или изображениям с дронов. В частности, точная сегментация помогает в мониторинге обезлесения, урбанизации и изменений в землепользовании с течением времени для предоставления ценных данных для охраны окружающей среды и планирования.

Вот некоторые из преимуществ использования такой модели, как SAM 2, для анализа экологических изменений с течением времени:

• Раннее обнаружение: Выявляет ранние признаки деградации окружающей среды, позволяя своевременно вмешаться для предотвращения дальнейшего ущерба.
• Управление ресурсами: Помогает эффективно управлять природными ресурсами, предоставляя подробную информацию о состоянии различных экологических объектов.
• Сохранение биоразнообразия: Помогает отслеживать дикую природу и контролировать биоразнообразие, внося вклад в усилия по сохранению и защите исчезающих видов.
• Реагирование на стихийные бедствия: Помогает в оценке воздействия стихийных бедствий, таких как наводнения, лесные пожары и ураганы, обеспечивая быстрое и эффективное планирование реагирования и восстановления.

Редактирование видео с SAM 2: Попробуй сам#

Демонстрация Segment Anything 2 — отличный способ опробовать модель на видео. Используя возможности PVS модели SAM 2, мы взяли старое видео Ultralytics на YouTube и смогли сегментировать три объекта или человека на видео и пикселизировать их. Традиционно вырезание трех человек из такого видео отнимало бы много времени и сил, требуя ручной маскировки кадр за кадром. Однако SAM 2 упрощает этот процесс. С помощью всего нескольких кликов в демо-версии ты сможешь защитить личности трех интересующих объектов за считанные секунды.

Рис. 6. Пробуем демо-версию SAM 2.

Демо также позволяет опробовать несколько различных визуальных эффектов, таких как добавление прожектора на выбранные для отслеживания объекты и стирание отслеживаемых объектов. Если тебе понравилась демо-версия и ты готов начать внедрять инновации с помощью SAM 2, загляни на страницу документации модели Ultralytics SAM 2 для получения подробных инструкций по практическому освоению модели. Изучи функции, шаги установки и примеры, чтобы в полной мере использовать потенциал SAM 2 в своих проектах!

Заключение#

Модель Segment Anything Model 2 (SAM 2) от Meta AI трансформирует сегментацию видео и изображений. По мере того как задачи, такие как отслеживание объектов, улучшаются, мы открываем новые возможности в редактировании видео, смешанной реальности, научных исследованиях и медицинской визуализации. Делая сложные задачи проще и ускоряя аннотирование, SAM 2 готова стать важным инструментом для сообщества ИИ. Поскольку мы продолжаем исследовать и внедрять инновации с помощью таких моделей, как SAM 2, мы можем ожидать еще более революционных приложений и достижений в различных областях!

Узнай больше об ИИ, изучив наш репозиторий на GitHub и присоединившись к нашему сообществу. Ознакомься со страницами наших решений для получения подробной информации об ИИ в производстве и здравоохранении. 🚀