Применения Segment Anything Model 2 от Meta AI (SAM 2)

29 июля 2024 года Meta AI выпустила вторую версию своей модели Segment Anything Model — SAM 2. Новая модель может определять, какие пиксели относятся к целевому объекту как на изображениях, так и в видео! Самое главное — модель способна в реальном времени стабильно отслеживать объект на протяжении всех кадров видео. SAM 2 открывает впечатляющие возможности для редактирования видео, сценариев смешанной реальности и более быстрой разметки визуальных данных для обучения систем компьютерного зрения.

Развивая успех оригинальной SAM, которая использовалась в таких областях, как морская наука, спутниковая съёмка и медицина, SAM 2 решает такие проблемы, как быстро движущиеся объекты и изменения внешнего вида. Повышенные точность и эффективность делают её универсальным инструментом для широкого спектра применений. В этой статье мы сосредоточимся на том, где можно применять SAM 2 и почему это важно для сообщества AI.

Что такое SAM 2?#

Segment Anything Model 2 — это продвинутая базовая модель, поддерживающая сегментацию изображений по запросу, или PVS, как на изображениях, так и в видео. PVS — это методика, при которой модель может сегментировать или идентифицировать разные части изображения или видео на основе заданных пользователем запросов или входных данных. Такими запросами могут быть клики, рамки или маски, выделяющие интересующую область. Затем модель создаёт маску сегментации, очерчивающую указанную область.

Архитектура SAM 2 развивает оригинальную SAM, расширяя возможности от сегментации изображений до сегментации видео. Она включает лёгкий декодер масок, который использует данные изображения и запросы для создания масок сегментации. Для видео SAM 2 представляет систему памяти, помогающую запоминать информацию из предыдущих кадров и обеспечивать точное отслеживание во времени. Система памяти включает компоненты для сохранения и извлечения сведений об объектах, которые сегментируются. SAM 2 также умеет обрабатывать перекрытия, отслеживать объекты в нескольких кадрах и работать с неоднозначными запросами, создавая несколько возможных масок. Продвинутая архитектура SAM 2 делает модель эффективной в статичных и динамичных визуальных средах.

В частности, в сегментации видео SAM 2 достигает более высокой точности при втрое меньшем количестве взаимодействий с пользователем по сравнению с предыдущими методами. В сегментации изображений SAM 2 превосходит оригинальную Segment Anything Model (SAM), работая в шесть раз быстрее и обеспечивая более высокую точность. Это улучшение было продемонстрировано в исследовательской статье о SAM 2 на 37 различных наборах данных, включая 23 набора, на которых ранее тестировалась SAM.

Рис. 1. Сравнение SAM и SAM 2.

Интересно, что SAM 2 от Meta AI была разработана с использованием крупнейшего на сегодняшний день набора данных для сегментации видео — набора данных SA-V. Этот обширный набор данных включает более 50 000 видео и 35,5 миллиона масок сегментации, собранных благодаря интерактивному участию пользователей. Специалисты по разметке добавляли запросы и исправления, помогая модели учиться на самых разных сценариях и типах объектов.

Применение Segment Anything Model 2#

Благодаря продвинутым возможностям сегментации изображений и видео SAM 2 можно использовать в различных отраслях. Давай рассмотрим некоторые из этих применений.

SAM 2 расширяет возможности дополненной реальности (AR) и виртуальной реальности (VR)#

Новую модель сегментации Meta AI можно использовать в приложениях дополненной реальности (AR) и виртуальной реальности (VR). Например, SAM 2 может точно определять и сегментировать объекты реального мира, делая взаимодействие с виртуальными объектами более реалистичным. Это может быть полезно в таких сферах, как игры, образование и обучение, где реалистичное взаимодействие виртуальных и реальных элементов имеет решающее значение.

По мере развития устройств вроде очков AR возможности SAM 2 вскоре могут быть интегрированы в них. Представь, что ты надеваешь очки и осматриваешь свою гостиную. Когда очки сегментируют и распознают миску для воды твоей собаки, они могут напомнить тебе наполнить её, как показано на изображении ниже. Или, если ты готовишь блюдо по новому рецепту, очки смогут определить ингредиенты на кухонной столешнице и предоставить пошаговые инструкции и советы, упростив процесс готовки и убедившись, что всё необходимое у тебя под рукой.

Рис. 2. SAM 2 вскоре может использоваться в очках AR.

Сонарная съёмка с использованием Segment Anything Model 2#

Исследования с использованием модели SAM показали, что её можно применять в специализированных областях, таких как сонарная съёмка. Сонарная съёмка связана с уникальными трудностями из-за низкого разрешения, высокого уровня шума и сложных форм объектов на изображениях. Выполняя дообучение SAM на сонарных изображениях, исследователи продемонстрировали её способность точно сегментировать различные подводные объекты, такие как морской мусор, геологические образования и другие представляющие интерес объекты. Точная и надёжная подводная съёмка может использоваться в морских исследованиях, подводной археологии, управлении рыбными ресурсами и наблюдении для таких задач, как картирование мест обитания, обнаружение артефактов и выявление угроз.

Рис. 3. Пример использования дообученной SAM для сегментации сонарных изображений.

Поскольку SAM 2 развивает и улучшает многие аспекты, в которых SAM сталкивалась с трудностями, она может дополнительно улучшить анализ сонарных изображений. Её возможности точной сегментации могут помочь в различных морских приложениях, включая научные исследования и рыбное хозяйство. Например, SAM 2 может эффективно очерчивать подводные структуры, обнаруживать морской мусор и идентифицировать объекты на сонарных изображениях переднего обзора, обеспечивая более точное и эффективное исследование и мониторинг подводной среды.

Вот потенциальные преимущества использования SAM 2 для анализа сонарных изображений:

• Эффективность: сокращает время и усилия, необходимые для ручной сегментации, позволяя специалистам больше сосредоточиться на анализе и принятии решений.
• Стабильность: обеспечивает согласованные и воспроизводимые результаты сегментации, необходимые для масштабных морских исследований и мониторинга.
• Универсальность: способна обрабатывать широкий спектр сонарных изображений, что делает её полезной для разнообразных применений в морской науке и промышленности.

Интеграция SAM 2 в процессы сонарной съёмки позволит морской отрасли повысить эффективность, точность и надёжность подводных исследований и анализа, что в конечном счёте приведёт к лучшим результатам в морских исследованиях.

Использование SAM 2 в автономных транспортных средствах#

Ещё одно применение SAM 2 — автономные транспортные средства. SAM 2 может точно идентифицировать пешеходов, другие транспортные средства, дорожные знаки и препятствия в реальном времени. Детализация, которую обеспечивает SAM 2, необходима для принятия решений о безопасной навигации и предотвращении столкновений. Точно обрабатывая визуальные данные, SAM 2 помогает создавать подробную и надёжную карту окружающей среды и способствует принятию более эффективных решений.

Рис. 4. Использование сегментации для понимания дорожного движения.

Способность SAM 2 эффективно работать при разном освещении, изменениях погоды и в динамичных средах делает её надёжной для автономных транспортных средств. Будь то оживлённая городская улица или туманная автомагистраль, SAM 2 может стабильно и точно идентифицировать и сегментировать объекты, чтобы транспортное средство правильно реагировало на различные ситуации.

Однако важно учитывать некоторые ограничения. На сложных быстро движущихся объектах SAM 2 иногда может упускать мелкие детали, а её предсказания могут становиться нестабильными между кадрами. Кроме того, SAM 2 иногда может путать несколько похожих объектов в перегруженных сценах. Именно поэтому интеграция дополнительных датчиков и технологий играет ключевую роль в приложениях для автономного вождения.

Экологический мониторинг с помощью SAM 2#

Экологический мониторинг с использованием компьютерного зрения может быть сложным, особенно при нехватке размеченных данных, но именно это делает его интересным применением SAM 2. SAM 2 можно использовать для отслеживания и анализа изменений природных ландшафтов, точно сегментируя и идентифицируя различные элементы окружающей среды, такие как леса, водоёмы, городские территории и сельскохозяйственные угодья, на спутниковых снимках или изображениях с дронов. В частности, точная сегментация помогает отслеживать вырубку лесов, урбанизацию и изменения землепользования с течением времени, предоставляя ценные данные для охраны окружающей среды и планирования.

Вот некоторые преимущества использования такой модели, как SAM 2, для анализа изменений окружающей среды с течением времени:

• Раннее обнаружение: выявляет ранние признаки деградации окружающей среды, позволяя своевременно принять меры и предотвратить дальнейший ущерб.
• Управление ресурсами: помогает эффективно управлять природными ресурсами, предоставляя подробную информацию о состоянии различных элементов окружающей среды.
• Сохранение биоразнообразия: помогает отслеживать дикую природу и контролировать биоразнообразие, содействуя природоохранным мероприятиям и защите исчезающих видов.
• Реагирование на стихийные бедствия: помогает оценивать последствия таких природных катастроф, как наводнения, лесные пожары и ураганы, обеспечивая быстрое и эффективное реагирование, а также планирование восстановления после бедствий.

Редактирование видео с помощью SAM 2: попробуй сам#

Демонстрация Segment Anything 2 — отличный способ опробовать модель на видео. Используя возможности PVS в SAM 2, мы взяли старое видео Ultralytics на YouTube, смогли сегментировать в нём три объекта или человека и применить к ним пикселизацию. Традиционно редактирование трёх людей в подобном видео было бы длительным и утомительным процессом, требующим ручного создания масок для каждого кадра. Однако SAM 2 упрощает этот процесс. Сделав несколько кликов в демонстрации, ты можешь защитить личность трёх интересующих объектов всего за несколько секунд.

Рис. 6. Тестирование демонстрации SAM 2.

Демонстрация также позволяет опробовать несколько различных визуальных эффектов, например подсветку выбранных для отслеживания объектов и удаление отслеживаемых объектов. Если тебе понравилась демонстрация и ты готов начать создавать инновационные решения с SAM 2, ознакомься со страницей документации модели Ultralytics SAM 2, где приведены подробные инструкции по практической работе с моделью. Изучи функции, этапы установки и примеры, чтобы в полной мере использовать потенциал SAM 2 в своих проектах!

Подводя итоги#

Segment Anything Model 2 (SAM 2) от Meta AI меняет подход к сегментации видео и изображений. По мере улучшения таких задач, как отслеживание объектов, мы открываем новые возможности в редактировании видео, смешанной реальности, научных исследованиях и медицинской визуализации. Упрощая сложные задачи и ускоряя разметку, SAM 2 готова стать важным инструментом для сообщества AI. Продолжая исследовать и развивать модели вроде SAM 2, мы можем ожидать ещё больше прорывных применений и достижений в различных областях!

Узнай больше об AI, изучив наш репозиторий на GitHub и присоединившись к нашему сообществу. Посети страницы наших решений, чтобы подробно узнать о применении AI в производстве и здравоохранении. 🚀