Обновления в области исследований ИИ от Meta FAIR: SAM 2.1 и CoTracker3

Искусственный интеллект (ИИ) — это область исследований, в которой в последнее время наблюдается огромный всплеск активности и энергии: новые инновации и прорывы появляются быстрее, чем когда-либо прежде. За последние несколько недель команда Fundamental AI Research (FAIR) от Meta представила набор инструментов и моделей, направленных на решение задач в различных областях ИИ. Эти релизы включают в себя обновления, которые могут повлиять на такие разнообразные сферы, как здравоохранение, робототехника и дополненная реальность.

Например, обновленная модель SAM 2.1 улучшает сегментацию объектов, облегчая точное определение и отделение объектов на изображениях и в видео. Тем временем CoTracker3 фокусируется на трекинге точек, помогая отслеживать точки в кадрах видео, даже когда объекты перемещаются или частично перекрываются.

Meta также представила более легкие и быстрые версии своей языковой модели Llama для эффективного использования на устройствах наряду с новой технологией тактильного восприятия для робототехники. В этой статье мы подробно рассмотрим последние релизы от Meta FAIR и расскажем, что предлагает каждый инструмент. Давай начнем!

Улучшенная модель Segment Anything Model от Meta: SAM 2.1#

Сегментация объектов, ключевая задача компьютерного зрения, позволяет идентифицировать и разделять отдельные объекты на изображении или видео, что упрощает анализ конкретных интересующих областей. С момента своего выпуска модель Segment Anything Model 2 (SAM 2) от Meta используется для сегментации объектов в различных сферах, таких как медицинская визуализация и метеорология. Основываясь на отзывах сообщества, Meta теперь представила SAM 2.1 — улучшенную версию, призванную решить некоторые проблемы, возникшие с оригинальной моделью, и обеспечить в целом более высокую производительность.

Рис. 1. Бенчмаркинг производительности модели SAM 2.1.

SAM 2.1 включает в себя обновления для лучшего распознавания визуально похожих и более мелких объектов благодаря новым методам аугментации данных. Модель также улучшает обработку окклюзий (когда части объекта скрыты из виду) за счет обучения на более длинных видеопоследовательностях, что позволяет ей «помнить» и распознавать объекты с течением времени, даже если они временно заслонены. Например, если кто-то снимает видео с человеком, идущим за деревом, SAM 2.1 может отслеживать человека по мере его появления с другой стороны, используя память о положении и движении объекта для заполнения пробелов при кратковременном прерывании обзора.

Наряду с этими обновлениями Meta выпустила SAM 2 Developer Suite, предоставляющий открытый тренировочный код и полную демоинфраструктуру, чтобы разработчики могли дообучать SAM 2.1 на собственных данных и интегрировать ее в самые разные приложения.

CoTracker3: модель отслеживания от Meta, её функции и обновления#

Еще одна интересная задача компьютерного зрения — трекинг точек. Он заключается в отслеживании определенных точек или признаков по нескольким кадрам в видео. Представь видео с велогонщиком, едущим по треку: трекинг точек позволяет модели удерживать в поле зрения точки на гонщике, например на шлеме или колесах, даже если на мгновение они скрыты препятствиями.

Трекинг точек необходим для таких приложений, как 3D-реконструкция, робототехника и редактирование видео. Традиционные модели часто опираются на сложные настройки и большие синтетические наборы данных, что ограничивает их эффективность при применении в реальных сценариях.

Модель трекинга CoTracker3 от Meta решает эти ограничения за счет упрощения архитектуры модели. В ней также реализован метод псевдоразметки, который позволяет модели учиться на реальных неразмеченных видео, делая CoTracker3 более эффективным и масштабируемым для практического использования.

Рис. 2. Сравнение CoTracker3 с другими моделями трекинга.

Одна из особенностей, выделяющих CoTracker3, — способность отлично справляться с окклюзиями. Используя кросс-трек-аттеншн, метод, позволяющий модели обмениваться информацией между несколькими отслеживаемыми точками, CoTracker3 может вычислять позиции скрытых точек по ссылке на видимые. Благодаря этому CoTracker3 спроектирован так, чтобы быть крайне эффективным в динамичных средах, например при сопровождении человека в толпе.

CoTracker3 также предлагает как онлайн-, так и офлайн-режимы. Онлайн-режим обеспечивает трекинг в реальном времени, в то время как офлайн-режим можно использовать для более комплексного отслеживания по всей видеопоследовательности, что идеально подходит для таких задач, как видеомонтаж или анимация.

Другие обновления и исследования от Meta FAIR#

В то время как SAM 2.1 и CoTracker3 демонстрируют последние достижения Meta в области компьютерного зрения, появляются и интересные обновления в других сферах ИИ, таких как обработка естественного языка (NLP) и робототехника. Давай взглянем на некоторые из этих недавних разработок от Meta FAIR.

Spirit LM от Meta: инновации ИИ в языковых и мультимодальных моделях#

Spirit LM от Meta — это новая модальная языковая модель, объединяющая возможности текста и речи, благодаря чему взаимодействие с ИИ ощущается более естественным. В отличие от традиционных моделей, работающих только с текстом или только с речью, Spirit LM может плавно переключаться между ними.

Spirit LM способна понимать и генерировать язык более человечным образом. Например, она может улучшить виртуальных помощников, которые умеют как слушать, так и отвечать на разговорном или письменном языке, либо поддерживать инструменты доступности, конвертирующие речь в текст и наоборот.

Рис. 3. Пример преобразования текста в речь с использованием Meta Spirit LM.

Более того, Meta разработала методы повышения эффективности больших языковых моделей. Один из них, называемый Layer Skip, помогает снизить вычислительные потребности и затраты энергии, активируя только те слои, которые необходимы для выполнения конкретной задачи. Это особенно полезно для приложений на устройствах с ограниченным объемом памяти и питания.

Продолжая тему необходимости развертывания приложений ИИ на таких устройствах, Meta также выпустила квантованные версии своих моделей Llama. Эти модели сжаты для более быстрой работы на мобильных устройствах без ущерба для точности.

Взгляд в будущее оптимизации с Meta Lingua#

По мере роста размера и сложности моделей ИИ оптимизация процесса их обучения становится критически важной. В вопросах оптимизации Meta представила Meta Lingua — гибкую и эффективную кодовую базу, упрощающую обучение больших языковых моделей. Модульный дизайн Meta Lingua позволяет исследователям быстро кастомизировать и масштабировать свои эксперименты.

Исследователи могут тратить меньше времени на техническую настройку и больше времени на реальные исследования. Кодовая база также отличается легкостью и простотой интеграции, что делает ее подходящей как для небольших экспериментов, так и для крупномасштабных проектов. Устраняя эти технические препятствия, Meta Lingua помогает исследователям быстрее продвигаться вперед и с большей легкостью тестировать новые идеи.

Рис. 4. Обзор Meta Lingua.

Улучшения безопасности ИИ от Meta#

По мере развития технологий квантовых вычислений они привносят новые вызовы для безопасности данных. В отличие от современных компьютеров, квантовые компьютеры, вероятнее всего, смогут решать сложные вычисления намного быстрее. Это означает, что они потенциально способны взломать методы шифрования, используемые в настоящее время для защиты конфиденциальной информации. Вот почему исследования в этой области приобретают все большую важность: разработка новых способов защиты данных крайне необходима по мере подготовки к будущему квантовых вычислений.

Чтобы решить эту проблему, Meta разработала Salsa — инструмент, направленный на усиление постквантовой криптографической безопасности. Salsa помогает исследователям тестировать атаки на базе ИИ и выявлять потенциальные слабые места, позволяя им лучше понимать и устранять уязвимости в криптографических системах. Симулируя продвинутые сценарии атак, Salsa предоставляет ценные инсайты, которые могут направлять разработку более надежных и устойчивых мер безопасности для квантовой эры.

ИИ в Meta: последние инновации в робототехнике#

Последние разработки Meta в области робототехники сосредоточены на том, чтобы помочь ИИ более естественно взаимодействовать с физическим миром за счет улучшения тактильного восприятия, ловкости и совместной работы с людьми. В частности, Meta Digit 360 — это передовой тактильный датчик, наделяющий роботов утонченным осязанием. Датчики помогают роботам определять такие детали, как текстура, давление и даже форма объектов. Обладая этими данными, роботы могут точнее манипулировать предметами, что критически важно в таких сферах, как здравоохранение и производство.

Вот некоторые из ключевых особенностей, которые включает Meta Digit 360:

• Он оснащен 18 различными сенсорными функциями, чтобы иметь возможность захватывать широкий спектр тактильных деталей.
• Датчик может определять изменения давления силой всего в 1 миллиньютон, позволяя роботам реагировать на тонкие текстуры и едва заметные движения.
• Он включает более 8 миллионов такселей (крошечных сенсорных точек) по поверхности кончика пальца, обеспечивая карту тактильной информации высокого разрешения.

Расширением Meta Digit 360 является Meta Digit Plexus — платформа, которая интегрирует различные сенсоры касания в одну роботизированную руку. Эта настройка позволяет роботам обрабатывать тактильную информацию из нескольких точек одновременно, подобно тому, как человеческие руки собирают сенсорные данные.

Рис. 5. Meta Digit Plexus.

Готовя почву для следующей главы ИИ#

Последние обновления ИИ от Meta, начиная от достижений в компьютерном зрении с SAM 2.1 и CoTracker3 до новых разработок в языковых моделях и робототехнике, показывают, как ИИ постепенно переходит от теории к практическим и эффективным решениям.

Эти инструменты созданы для того, чтобы сделать ИИ более адаптируемым и полезным в различных областях, помогая во всем: от сегментации сложных изображений до понимания человеческого языка и даже работы бок о бок с нами в физическом пространстве.

Уделяя приоритетное внимание доступности и реальным приложениям, Meta FAIR приближает нас к будущему, в котором ИИ сможет решать реальные задачи и значимо улучшать нашу повседневную жизнь.

Интересуешься ИИ? Присоединяйся к нашему сообществу для получения последних обновлений и инсайтов, а также загляни в наш репозиторий на GitHub. Ты также можешь узнать, как компьютерное зрения применяется в таких индустриях, как беспилотные автомобили и сельское хозяйство!