Новости исследований Meta FAIR в области ИИ: SAM 2.1 и CoTracker3

Исследования искусственного интеллекта (AI) быстро развиваются, и новые прорывы появляются как никогда часто. За последние несколько недель команда Meta Fundamental AI Research (FAIR) представила набор инструментов и моделей для решения задач в различных областях AI. Эти выпуски могут повлиять на самые разные направления, от здравоохранения и робототехники до дополненной реальности.

Например, обновлённая модель SAM 2.1 улучшает сегментацию объектов, упрощая точное обнаружение и разделение объектов на изображениях и видео. CoTracker3, в свою очередь, предназначена для отслеживания точек: она помогает следить за точками в кадрах видео, даже когда объекты движутся или частично скрыты.

Meta также представила более лёгкие и быстрые версии своей языковой модели Llama для эффективной работы непосредственно на устройствах, а также новую технологию тактильного восприятия для робототехники. В этой статье мы разберём последние выпуски Meta FAIR и рассмотрим возможности каждого инструмента.

Усовершенствованная модель Segment Anything от Meta: SAM 2.1#

Сегментация объектов — важная задача компьютерного зрения, которая позволяет обнаруживать и разделять отдельные объекты на изображении или видео, упрощая анализ конкретных областей интереса. С момента выпуска модель Segment Anything Model 2 (SAM 2) от Meta применяют для сегментации объектов в самых разных областях, включая медицинскую визуализацию и метеорологию. Учтя отзывы сообщества, Meta представила SAM 2.1 — улучшенную версию, призванную справиться с некоторыми проблемами исходной модели и в целом обеспечить более высокую производительность.

Рис. 1. Оценка производительности модели SAM 2.1.

SAM 2.1 лучше обрабатывает визуально похожие и небольшие объекты благодаря новым методам аугментации данных. Модель также лучше справляется с окклюзией (когда части объекта скрыты от обзора): её обучают на более длинных видеопоследовательностях, чтобы она могла «запоминать» и распознавать объекты с течением времени, даже если те временно скрыты. Например, если кто-то снимает на видео человека, идущего за деревом, SAM 2.1 может отслеживать человека, когда тот появляется с другой стороны, используя информацию о положении объекта и его движении, чтобы восполнить пробелы при кратковременной потере обзора.

Вместе с этими обновлениями Meta выпустила SAM 2 Developer Suite — набор с открытым кодом для обучения и полноценной инфраструктурой демонстрационных приложений. Он позволяет разработчикам дообучать SAM 2.1 на собственных данных и интегрировать модель в самые разные приложения.

CoTracker3: модель отслеживания Meta, её возможности и обновления#

Ещё одна интересная задача компьютерного зрения — отслеживание точек. Она заключается в отслеживании заданных точек или признаков в нескольких кадрах видео. Представь видео, на котором велосипедист едет по трассе: отслеживание точек позволяет модели следить за точками на велосипеде, например на шлеме или колёсах, даже если на мгновение их закрывают препятствия.

Отслеживание точек необходимо для таких приложений, как 3D-реконструкция, робототехника и видеомонтаж. Традиционные модели часто требуют сложных конфигураций и больших синтетических наборов данных, что снижает их эффективность в реальных условиях.

Модель CoTracker3 от Meta решает эти проблемы за счёт упрощённой архитектуры. В ней также используется метод псевдоразметки, который позволяет модели учиться на реальных видео без аннотаций. Благодаря этому CoTracker3 эффективнее и лучше масштабируется для практического применения.

Рис. 2. Сравнение CoTracker3 с другими моделями отслеживания.

Одна из особенностей CoTracker3 — эффективная работа с окклюзиями. Используя межтрековое внимание — метод, который позволяет модели обмениваться информацией между несколькими отслеживаемыми точками, — CoTracker3 может определять положения скрытых точек по видимым. Благодаря этому CoTracker3 особенно эффективна в динамичных условиях, например при отслеживании человека в толпе.

CoTracker3 поддерживает онлайн- и офлайн-режимы. Онлайн-режим обеспечивает отслеживание в реальном времени, а офлайн-режим подходит для более полного анализа всей видеопоследовательности, например при монтаже видео или создании анимации.

Другие обновления и исследования Meta FAIR#

SAM 2.1 и CoTracker3 демонстрируют последние достижения Meta в области компьютерного зрения, но интересные обновления появляются и в других сферах ИИ, например в области обработки естественного языка (NLP) и робототехники. Рассмотрим другие недавние разработки Meta FAIR.

Spirit LM от Meta: инновации ИИ в языковых и мультимодальных моделях#

Spirit LM от Meta — новая мультимодальная языковая модель, сочетающая работу с текстом и речью, благодаря чему взаимодействие с ИИ становится естественнее. В отличие от традиционных моделей, которые работают только с текстом или только с речью, Spirit LM может переключаться между ними.

Spirit LM умеет понимать и генерировать язык так, что это больше напоминает общение с человеком. Например, модель может улучшить виртуальных помощников, которые воспринимают речь и отвечают устно или письменно, а также помогать средствам доступности, преобразующим речь в текст и наоборот.

Рис. 3. Пример преобразования текста в речь с помощью Spirit LM от Meta.

Кроме того, Meta разработала методы повышения эффективности больших языковых моделей. Один из них, Layer Skip, снижает вычислительные потребности и энергозатраты, активируя только те слои, которые нужны для конкретной задачи. Это особенно полезно для приложений на устройствах с ограниченными ресурсами памяти и питания.

Чтобы упростить развёртывание ИИ-приложений на таких устройствах, Meta также выпустила квантованные версии своих моделей Llama. Эти модели сжаты для более быстрой работы на мобильных устройствах без потери точности.

Будущее оптимизации с Meta Lingua#

По мере роста размера и сложности моделей ИИ оптимизация процесса их обучения становится всё важнее. Для решения этой задачи Meta представила Meta Lingua — гибкую и эффективную кодовую базу, упрощающую обучение больших языковых моделей. Модульная структура Meta Lingua позволяет исследователям быстро настраивать и масштабировать эксперименты.

Исследователи могут тратить меньше времени на техническую настройку и больше — на сами исследования. Кодовая база также отличается небольшим размером и легко интегрируется, поэтому подходит как для небольших экспериментов, так и для масштабных проектов. Устраняя технические препятствия, Meta Lingua помогает исследователям быстрее продвигаться вперёд и проще проверять новые идеи.

Рис. 4. Обзор Meta Lingua.

Улучшения Meta в области безопасности ИИ#

Развитие квантовых вычислений создаёт новые проблемы для безопасности данных. В отличие от современных компьютеров, квантовые компьютеры, вероятно, смогут гораздо быстрее выполнять сложные вычисления. Это означает, что они потенциально способны взломать методы шифрования, которые сейчас защищают конфиденциальную информацию. Поэтому исследования в этой области становятся всё важнее: по мере приближения эры квантовых вычислений необходимо разрабатывать новые способы защиты данных.

Для решения этой задачи Meta разработала Salsa — инструмент для повышения защищённости криптографии в постквантовую эпоху. Salsa помогает исследователям тестировать атаки с использованием ИИ и выявлять потенциальные уязвимости, чтобы лучше понимать и устранять слабые места криптографических систем. Моделируя сценарии сложных атак, Salsa предоставляет полезные сведения, которые помогут разрабатывать более надёжные и устойчивые меры защиты для квантовой эпохи.

ИИ в Meta: последние инновации в робототехнике#

Последние разработки Meta в области робототехники направлены на то, чтобы ИИ мог естественнее взаимодействовать с физическим миром: лучше воспринимать прикосновения, манипулировать предметами и сотрудничать с людьми. В частности, Meta Digit 360 — это усовершенствованный тактильный сенсор, который обеспечивает роботам тонкое осязание. Сенсоры помогают роботам определять текстуру, давление и даже форму предметов. Благодаря этим данным роботы могут точнее манипулировать объектами, что особенно важно в таких сферах, как здравоохранение и производство.

Вот некоторые ключевые особенности Meta Digit 360:

• Устройство оснащено 18 различными функциями сенсоров, позволяющими регистрировать широкий спектр тактильных характеристик.
• Датчик способен распознавать изменения давления всего в 1 миллиньютон, позволяя роботам реагировать на тонкие текстуры и едва заметные движения.
• На поверхности кончика пальца расположено более 8 миллионов такселей (крошечных точек сенсора), которые обеспечивают карту тактильных данных высокого разрешения.

Развитие Meta Digit 360 — платформа Meta Digit Plexus, объединяющая различные тактильные датчики на одной роботизированной руке. Такая конфигурация позволяет роботам одновременно обрабатывать тактильную информацию из нескольких точек, подобно тому, как человеческие руки собирают сенсорные данные.

Рис. 5. Meta Digit Plexus.

Новый этап развития ИИ#

Последние обновления ИИ от Meta — от достижений в компьютерном зрении с SAM 2.1 и CoTracker3 до новых разработок в области языковых моделей и робототехники — показывают, как ИИ постепенно переходит от теории к практическим решениям, оказывающим реальное влияние.

Эти инструменты призваны сделать ИИ более адаптивным и полезным в разных областях: они помогают во всём — от сегментации сложных изображений до понимания человеческого языка и даже взаимодействия с нами в физическом пространстве.

Ставя во главу угла доступность и применение в реальных условиях, Meta FAIR приближает нас к будущему, в котором ИИ сможет решать реальные задачи и заметно улучшать нашу повседневную жизнь.

Интересуешься ИИ? Присоединяйся к нашему сообществу, чтобы быть в курсе последних новостей и идей, и загляни в наш репозиторий GitHub. Также узнай, как компьютерное зрение применяют в таких отраслях, как беспилотные автомобили и сельское хозяйство!