Присоединяйтесь к нам, чтобы погрузиться в Segment Anything Model 2 (SAM 2) от Meta AI и понять, в каких приложениях реального времени ее можно использовать в различных отраслях.
29 июля 2024 года Meta AI выпустила вторую версию своей модели Segment Anything Model, SAM 2. Новая модель может точно определить, какие пиксели принадлежат целевому объекту как на изображениях, так и на видео! Самое приятное то, что модель может последовательно отслеживать объект во всех кадрах видео в режиме реального времени. SAM 2 открывает захватывающие возможности для редактирования видео, опыта смешанной реальности и более быстрой аннотации визуальных данных для обучения систем компьютерного зрения.
Основываясь на успехе оригинальной SAM, которая использовалась в таких областях, как морская наука, спутниковая съемка и медицина, SAM 2 решает такие задачи, как быстро движущиеся объекты и изменения во внешнем виде. Ее улучшенная точность и эффективность делают ее универсальным инструментом для широкого спектра применений. В этой статье мы сосредоточимся на том, где можно применять SAM 2, и почему это важно для AI-сообщества.
Segment Anything Model 2 — это продвинутая базовая модель, поддерживающая визуальную сегментацию с подсказками или PVS как в изображениях, так и в видео. PVS — это метод, с помощью которого модель может сегментировать или идентифицировать различные части изображения или видео на основе конкретных подсказок или входных данных, предоставленных пользователем. Эти подсказки могут быть в форме щелчков, прямоугольников или масок, которые выделяют интересующую область. Затем модель генерирует маску сегментации, которая очерчивает указанную область.
Архитектура SAM 2 основана на оригинальной SAM, расширяя возможности от сегментации изображений до включения сегментации видео. Она включает в себя облегченный декодер масок, который использует данные изображения и подсказки для создания масок сегментации. Для видео SAM 2 представляет систему памяти, которая помогает ей запоминать информацию из предыдущих кадров, обеспечивая точное отслеживание во времени. Система памяти включает в себя компоненты, которые хранят и вызывают детали об объектах, которые сегментируются. SAM 2 также может обрабатывать окклюзии, отслеживать объекты через несколько кадров и управлять неоднозначными подсказками, генерируя несколько возможных масок. Усовершенствованная архитектура SAM 2 делает ее высокопроизводительной как в статических, так и в динамических визуальных средах.
В частности, в отношении сегментации видео, SAM 2 достигает более высокой точности при в три раза меньшем количестве взаимодействий с пользователем по сравнению с предыдущими методами. Для сегментации изображений SAM 2 превосходит оригинальную модель Segment Anything Model (SAM), будучи в шесть раз быстрее и точнее. Это улучшение было продемонстрировано в исследовательской работе SAM 2 на 37 различных наборах данных, включая 23, на которых SAM тестировалась ранее.
Интересно, что SAM 2 от Meta AI был разработан путем создания крупнейшего на сегодняшний день набора данных для сегментации видео, набора данных SA-V. Обширный набор данных включает более 50 000 видео и 35,5 миллионов масок сегментации и был собран благодаря интерактивному вкладу пользователей. Аннотаторы предоставляли подсказки и исправления, чтобы помочь модели учиться на самых разных сценариях и типах объектов.
Благодаря своим расширенным возможностям в области сегментации изображений и видео, SAM 2 может использоваться в различных отраслях. Давайте рассмотрим некоторые из этих применений.
Новая модель сегментации Meta AI может использоваться для приложений дополненной реальности (AR) и виртуальной реальности (VR). Например, SAM 2 может точно идентифицировать и сегментировать объекты реального мира и сделать взаимодействие с виртуальными объектами более реалистичным. Это может быть полезно в различных областях, таких как игры, образование и обучение, где важна реалистичная взаимодействие между виртуальными и реальными элементами.
Поскольку такие устройства, как очки AR, становятся все более совершенными, возможности SAM 2 вскоре могут быть интегрированы в них. Представьте, что вы надеваете очки и осматриваете свою гостиную. Когда ваши очки сегментируют и замечают миску с водой вашей собаки, они могут напомнить вам о необходимости ее пополнить, как показано на изображении ниже. Или, если вы готовите новый рецепт, очки могут идентифицировать ингредиенты на вашей столешнице и предоставлять пошаговые инструкции и советы, улучшая ваш опыт приготовления пищи и гарантируя, что у вас есть все необходимые предметы под рукой.
Исследования с использованием модели SAM показали, что ее можно применять в специализированных областях, таких как гидролокация. Гидролокация сопряжена с уникальными проблемами из-за низкого разрешения, высокого уровня шума и сложной формы объектов на изображениях. Путем точной настройки SAM для гидролокационных изображений исследователи продемонстрировали ее способность точно сегментировать различные подводные объекты, такие как морской мусор, геологические образования и другие представляющие интерес объекты. Точная и надежная подводная съемка может использоваться в морских исследованиях, подводной археологии, управлении рыбным хозяйством и наблюдении для решения таких задач, как картирование среды обитания, обнаружение артефактов и выявление угроз.
%25252525201.png)
Поскольку SAM 2 развивает и улучшает многие аспекты SAM, она обладает потенциалом для дальнейшего улучшения анализа гидролокационных изображений. Ее точные возможности сегментации могут помочь в различных морских приложениях, включая научные исследования и рыболовство. Например, SAM 2 может эффективно очерчивать подводные структуры, обнаруживать морской мусор и идентифицировать объекты на гидролокационных изображениях переднего обзора, способствуя более точному и эффективному исследованию и мониторингу подводного мира.
Вот потенциальные преимущества использования SAM 2 для анализа гидролокационных изображений:
Благодаря интеграции SAM 2 в процессы гидролокационной визуализации, морская промышленность может достичь более высокой эффективности, точности и надежности в подводных исследованиях и анализе, что в конечном итоге приведет к лучшим результатам в морских исследованиях.
Другое применение SAM 2 — в автономных транспортных средствах. SAM 2 может точно идентифицировать объекты, такие как пешеходы, другие транспортные средства, дорожные знаки и препятствия, в режиме реального времени. Уровень детализации, который может предоставить SAM 2, необходим для принятия решений о безопасной навигации и предотвращении столкновений. Точно обрабатывая визуальные данные, SAM 2 помогает создать подробную и надежную карту окружающей среды и приводит к принятию более эффективных решений.
Способность SAM 2 хорошо работать в различных условиях освещения, при изменении погоды и в динамических средах делает его надежным для автономных транспортных средств. Будь то оживленная городская улица или туманное шоссе, SAM 2 может последовательно идентифицировать и сегментировать объекты с высокой точностью, чтобы транспортное средство могло правильно реагировать на различные ситуации.
Однако, есть некоторые ограничения, которые следует учитывать. Для сложных, быстро движущихся объектов SAM 2 иногда может упускать мелкие детали, а его прогнозы могут становиться нестабильными между кадрами. Кроме того, SAM 2 иногда может путать несколько похожих объектов в переполненных сценах. Эти проблемы являются причиной того, что интеграция дополнительных датчиков и технологий имеет решающее значение в приложениях автономного вождения.
Экологический мониторинг с использованием компьютерного зрения может быть сложным, особенно при отсутствии аннотированных данных, но это также делает его интересным применением для SAM 2. SAM 2 можно использовать для отслеживания и анализа изменений в природных ландшафтах путем точной сегментации и идентификации различных экологических объектов, таких как леса, водные объекты, городские районы и сельскохозяйственные земли, на спутниковых снимках или снимках с дронов. В частности, точная сегментация помогает в мониторинге вырубки лесов, урбанизации и изменений в землепользовании с течением времени, предоставляя ценные данные для охраны окружающей среды и планирования.
Вот некоторые из преимуществ использования модели, такой как SAM 2, для анализа изменений окружающей среды с течением времени:
Segment Anything 2 Demo — отличный способ опробовать модель на видео. Используя возможности PVS SAM 2, мы взяли старое видео Ultralytics на YouTube и смогли сегментировать три объекта или человека в видео и пикселизировать их. Традиционно редактирование трех человек из видео подобного рода было бы трудоемким и утомительным и потребовало бы ручного маскирования каждого кадра. Однако SAM 2 упрощает этот процесс. С помощью нескольких щелчков мыши в демоверсии вы можете защитить личность трех интересующих объектов за считанные секунды.
Демонстрация также позволяет вам опробовать несколько различных визуальных эффектов, таких как выделение объектов, которые вы выбираете для отслеживания, и стирание отслеживаемых объектов. Если вам понравилась демонстрация и вы готовы начать внедрять инновации с помощью SAM 2, ознакомьтесь со страницей документации по модели Ultralytics SAM 2 для получения подробных инструкций о том, как начать работу с моделью. Изучите функции, этапы установки и примеры, чтобы в полной мере воспользоваться потенциалом SAM 2 в своих проектах!
Segment Anything Model 2 (SAM 2) от Meta AI преобразует сегментацию видео и изображений. По мере улучшения таких задач, как отслеживание объектов, мы открываем новые возможности в редактировании видео, смешанной реальности, научных исследованиях и медицинской визуализации. Упрощая сложные задачи и ускоряя аннотации, SAM 2 готов стать важным инструментом для ИИ-сообщества. Поскольку мы продолжаем исследовать и внедрять инновации с помощью таких моделей, как SAM 2, мы можем ожидать еще более новаторских приложений и достижений в различных областях!
Узнайте больше об ИИ, изучив наш репозиторий GitHub и присоединившись к нашему сообществу. Ознакомьтесь с нашими страницами решений для получения подробной информации об ИИ в производстве и здравоохранении. 🚀
