Знакомство с SAM 3: новая Segment Anything Model от Meta AI

19 ноября 2025 года Meta AI выпустила Segment Anything Model 3, также известную как SAM 3. Эта новая версия Segment Anything Model предлагает новые способы обнаружения, сегментации и отслеживания объектов на реальных изображениях и видео с помощью текстовых и визуальных подсказок, а также примеров изображений.

Модель SAM 3 развивает идеи SAM и SAM 2, предлагая новые возможности и улучшения, например сегментацию по концепциям, обнаружение объектов с открытым словарём и отслеживание видео в реальном времени. Она понимает короткие именные фразы, отслеживает объекты между кадрами и распознаёт редкие и детализированные концепции, с которыми предыдущие модели справлялись менее стабильно.

Одновременно с выпуском SAM 3 компания Meta также представила SAM 3D. Этот набор моделей нового поколения восстанавливает объекты, сцены и человеческое тело целиком по одному изображению, расширяя экосистему Segment Anything возможностями понимания 3D-сцен. Эти новинки открывают новые возможности для применения в компьютерном зрении, робототехнике, редактировании медиаконтента и творческих рабочих процессах.

В этой статье мы разберём, что такое SAM 3, чем он отличается от SAM 2, как работает модель и где её можно применять в реальных условиях.

Что такое SAM 3? Знакомство с Segment Anything Model 3 от Meta#

SAM 3 — передовая модель компьютерного зрения, которая по простым инструкциям распознаёт, выделяет и отслеживает объекты на изображениях и видео. Вместо фиксированного списка меток SAM 3 понимает естественный язык и визуальные подсказки, поэтому ты можешь легко объяснить модели, что именно нужно найти.

Например, с помощью SAM 3 можно ввести короткую фразу, например «жёлтый школьный автобус» или «полосатый кот», щёлкнуть по объекту или выделить пример на изображении. Затем модель обнаружит все подходящие объекты и создаст аккуратные маски сегментации — визуальные контуры, точно показывающие, какие пиксели принадлежат объекту. SAM 3 также может отслеживать эти объекты на протяжении видеокадров, сохраняя их идентичность при движении.

SAM 3D восстанавливает 3D-модель по одному изображению#

Ещё одна интересная часть анонса Meta AI — SAM 3D, которая расширяет проект Segment Anything возможностями понимания 3D-сцен. SAM 3D может по одному 2D-изображению восстановить форму, позу или структуру объекта либо человеческого тела в трёх измерениях. Иными словами, модель способна оценить, как нечто расположено в пространстве, даже если доступен только один ракурс.

SAM 3D выпущена в виде двух отдельных моделей: SAM 3D Objects, которая восстанавливает геометрию и текстуру повседневных предметов, и SAM 3D Body, которая оценивает форму и позу человеческого тела по одному изображению. Обе модели используют результат сегментации SAM 3, а затем создают 3D-представление, соответствующее внешнему виду и положению объекта на исходной фотографии.

Рис. 1. Пример использования SAM 3D. (Источник: создано с помощью демонстрационной площадки Segment Anything от Meta AI)

SAM 3: новые функции объединяют обнаружение, сегментацию и отслеживание#

Вот некоторые ключевые нововведения SAM 3, которые объединяют обнаружение, сегментацию и отслеживание в одной модели:

• Задачи сегментации по концепциям: В SAM и SAM 2 сегментация объектов зависела от визуальных подсказок, например щелчков или рамок. SAM 3 добавляет возможность сегментировать объекты по короткой текстовой фразе или фрагменту-примеру из изображения. Благодаря этому модель может находить все подходящие экземпляры без необходимости щёлкать по каждому из них.
• Текстовые подсказки с открытым словарём: В отличие от предыдущих версий, SAM 3 может интерпретировать короткие фразы на естественном языке. Это избавляет от необходимости в фиксированном списке меток и позволяет модели работать с более специфичными и редкими концепциями.
• Одна модель для обнаружения, сегментации и отслеживания: SAM 3 объединяет обнаружение, сегментацию и отслеживание в одной модели, избавляя от необходимости использовать отдельные системы для поиска объектов, создания масок сегментации и отслеживания объектов между кадрами видео. Это делает рабочий процесс более согласованным и эффективным как для изображений, так и для видео. Хотя SAM 2 тоже поддерживала некоторые возможности отслеживания, SAM 3 обеспечивает значительно более высокую и надёжную производительность.
• Более стабильные результаты в сложных сценах: SAM 3 может сочетать текст, примеры изображений и визуальные подсказки, поэтому она надёжнее справляется с загромождёнными или повторяющимися сценами, чем предыдущие версии, которые опирались только на визуальные щелчки.

Рис. 2. В SAM 3 появилась сегментация по концепциям с помощью текста или примеров изображений. (Источник)

Сравнение SAM 3, SAM 2 и SAM 1#

Представь, что ты смотришь видео сафари с множеством разных животных и хочешь обнаружить и сегментировать только слонов. Как эта задача решалась бы в разных версиях SAM?

В SAM тебе пришлось бы вручную щёлкать по каждому слону в каждом кадре, чтобы создать маску сегментации. Отслеживания нет, поэтому для каждого нового кадра нужны новые щелчки.

В SAM 2 ты мог бы один раз щёлкнуть по слону, получить его маску, и модель отслеживала бы этого же слона на протяжении всего видео. Однако для сегментации нескольких слонов (конкретных объектов) пришлось бы отдельно щёлкать по каждому из них, поскольку SAM 2 сама по себе не понимает такие категории, как «слон».

С SAM 3 рабочий процесс становится гораздо проще. Можно ввести слово «слон» или обвести одного слона рамкой в качестве примера, и модель автоматически найдёт всех слонов в видео, сегментирует их и будет стабильно отслеживать между кадрами. Модель по-прежнему поддерживает подсказки в виде щелчков и рамок, как и предыдущие версии, но теперь также реагирует на текстовые подсказки и изображения-примеры — этого не умели SAM и SAM 2.

Как работает модель SAM 3#

Теперь подробнее рассмотрим, как работает модель SAM 3 и как её обучали.

Обзор архитектуры модели SAM 3#

SAM 3 объединяет несколько компонентов, чтобы обрабатывать подсказки по концепциям и визуальные подсказки в одной системе. В основе модели лежит Meta Perception Encoder — единый открытый энкодер изображений и текста от Meta.

Этот энкодер обрабатывает как изображения, так и короткие именные фразы. Проще говоря, благодаря этому SAM 3 связывает языковые и визуальные признаки эффективнее, чем предыдущие версии Segment Anything Model.

Помимо этого энкодера, SAM 3 включает детектор на основе семейства трансформерных моделей DETR. Детектор распознаёт объекты на изображении и помогает системе определить, какие из них соответствуют подсказке пользователя.

В частности, для сегментации видео SAM 3 использует компонент отслеживания, основанный на банке памяти и энкодере памяти из SAM 2. Благодаря этому модель хранит информацию об объектах между кадрами, чтобы повторно распознавать и отслеживать их с течением времени.

Рис. 3. Принцип сегментации объектов по концепциям (Источник: scontent)

Масштабируемый механизм подготовки данных для Segment Anything Model 3#

Для обучения SAM 3 Meta требовалось гораздо больше размеченных данных, чем доступно в интернете. Создавать качественные маски сегментации и текстовые метки в больших масштабах сложно, а полная разметка каждого экземпляра концепции на изображениях и видео занимает много времени и обходится дорого.

Чтобы решить эту проблему, Meta создала новый механизм подготовки данных, который объединяет SAM 3, дополнительные модели ИИ и совместную работу людей-разметчиков. Процесс начинается с конвейера систем ИИ, в который входят SAM 3 и модель генерации подписей на основе Llama.

Эти системы анализируют большие коллекции изображений и видео, генерируют подписи, преобразуют их в текстовые метки и создают предварительные варианты масок сегментации. Затем эти варианты проверяют люди и модели ИИ-разметки.

Модели ИИ-разметки обучены не уступать людям или даже превосходить их по точности в таких задачах, как проверка качества масок и полноты охвата концепций. Они отфильтровывают простые случаи, а люди подключаются только к более сложным примерам, с которыми модель пока не справляется.

Рис. 4. Механизм подготовки данных SAM 3 (Источник)

Такой подход значительно ускорил разметку в Meta. Если простые случаи обрабатывают модели ИИ-разметки, конвейер работает примерно в пять раз быстрее с отрицательными подсказками и на 36% быстрее с положительными подсказками в областях, требующих детальной классификации.

Благодаря такой эффективности набор данных удалось расширить до более чем четырёх миллионов уникальных концепций. Постоянный цикл предложений ИИ, исправлений людей и обновлённых предсказаний модели также постепенно повышает качество меток и помогает SAM 3 осваивать гораздо более широкий набор визуальных и текстовых концепций.

Повышение производительности SAM 3#

По производительности SAM 3 заметно превосходит предыдущие модели. На новом тесте SA-Co от Meta, который оценивает обнаружение и сегментацию концепций с открытым словарём, SAM 3 примерно вдвое превосходит предыдущие системы как на изображениях, так и на видео.

Она также не уступает SAM 2 или превосходит его в интерактивных визуальных задачах, например при преобразовании точки в маску и маски в набор масок. Meta сообщает о дополнительных улучшениях в более сложных тестах, таких как zero-shot LVIS (где модели должны распознавать редкие категории без обучающих примеров) и подсчёт объектов (оценка того, обнаружены ли все экземпляры объекта), что свидетельствует о лучшей обобщающей способности в разных областях.

Помимо повышения точности, SAM 3 работает эффективно: обрабатывает изображение более чем со 100 обнаруженными объектами примерно за 30 миллисекунд на GPU H200 и сохраняет почти реальную скорость при отслеживании нескольких объектов на видео. Результаты SAM 3 и более новой SAM 3.1 по обнаружению объектов в реальных условиях с текстовыми запросами также сравниваются с результатами визуально-языковых моделей в таблице лидеров Ultralytics VLM.

Применение Segment Anything Model 3#

Теперь, когда мы лучше понимаем SAM 3, давай посмотрим, как её применяют на практике: от сложных рассуждений по текстовым запросам до научных исследований и продуктов самой Meta.

Обработка сложных текстовых запросов с помощью SAM 3 Agent#

SAM 3 также можно использовать как инструмент внутри более крупной мультимодальной языковой модели, которую Meta называет SAM 3 Agent. Вместо короткой фразы вроде «слон» агент может разбить более сложный вопрос на небольшие подсказки, понятные SAM 3.

Например, если пользователь спрашивает: «Какой предмет на картинке используют, чтобы управлять лошадью и направлять её?», агент перебирает разные именные фразы, передаёт их SAM 3 и проверяет, какие маски подходят. Он уточняет запрос, пока не находит нужный предмет.

Даже без обучения на специальных наборах данных для рассуждений SAM 3 Agent показывает хорошие результаты на тестах для сложных текстовых запросов, таких как ReasonSeg и OmniLabel. Это показывает, что SAM 3 может поддерживать системы, которым нужны и понимание языка, и детализированная визуальная сегментация.

Научные и природоохранные применения SAM 3#

Примечательно, что SAM 3 уже используют в исследованиях, где важна подробная визуальная разметка. Meta вместе с Conservation X Labs и Osa Conservation создала SA-FARI — общедоступный набор данных для мониторинга дикой природы, включающий более 10 000 видео с фотоловушек.

Каждое животное в каждом кадре размечено рамками и масками сегментации — вручную такая разметка заняла бы чрезвычайно много времени. Аналогично, в океанологических исследованиях SAM 3 используют вместе с FathomNet и MBARI для создания масок сегментации экземпляров на подводных изображениях и разработки новых тестов оценки.

Такие наборы данных помогают учёным эффективнее анализировать видеозаписи и изучать животных и места их обитания, за которыми обычно трудно вести масштабное наблюдение. Исследователи также могут использовать эти ресурсы для создания собственных моделей идентификации видов, анализа поведения и автоматизированного экологического мониторинга.

Как Meta внедряет SAM 3 в свои продукты#

Помимо исследовательских задач, SAM 3 также обеспечивает работу новых функций и сценариев использования в потребительских продуктах Meta. Вот несколько примеров того, как её уже внедряют:

• Редактирование в Instagram: Авторы могут применять эффекты к конкретному человеку или объекту в видео без ручной обработки каждого кадра.
• Приложение Meta AI и сайт meta.ai: SAM 3 поддерживает новые инструменты для изменения, улучшения и создания ремиксов изображений и видео.
• Функция «Посмотреть в комнате» на Facebook Marketplace: SAM 3 работает вместе с SAM 3D и позволяет пользователям примерить мебель или предметы декора в интерьере своего дома по одной фотографии.
• Исследовательские очки Aria Gen 2: Segment Anything Model 3 помогает сегментировать и отслеживать руки и объекты с точки зрения первого лица, поддерживая исследования в области дополненной реальности (AR), робототехники и контекстного ИИ.

Главные выводы#

SAM 3 — важный шаг вперёд в развитии сегментации. Модель предлагает сегментацию по концепциям, текстовые подсказки с открытым словарём и улучшенное отслеживание. Заметное повышение производительности на изображениях и видео, а также появление SAM 3D открывают новые возможности для ИИ в области компьютерного зрения, творческих инструментов, научных исследований и реальных продуктов.

Присоединяйся к нашему сообществу и изучай наш репозиторий на GitHub, чтобы узнать больше об ИИ. Если ты хочешь создать собственный проект в области визуального ИИ, ознакомься с вариантами лицензирования. Узнай больше о таких областях применения, как ИИ в здравоохранении и визуальный ИИ в розничной торговле, на страницах наших решений.