Новости исследований в области ИИ от Meta FAIR: SAM 2.1 и CoTracker3

Искусственный интеллект (AI) — это область исследований, которая в последнее время бурно развивается, а новые разработки и прорывы появляются как никогда быстро. За последние несколько недель команда Meta по фундаментальным исследованиям ИИ (FAIR) представила набор инструментов и моделей, предназначенных для решения задач в разных областях ИИ. Среди этих релизов есть обновления, которые могут повлиять на такие разнообразные сферы, как здравоохранение, робототехника и дополненная реальность.

Например, обновлённая модель SAM 2.1 улучшает сегментацию объектов, упрощая точное распознавание и разделение объектов на изображениях и видео. CoTracker3, в свою очередь, специализируется на отслеживании точек, помогая отслеживать точки на кадрах видео, даже когда объекты перемещаются или частично закрыты.

Meta также представила более лёгкие и быстрые версии своей языковой модели Llama для эффективного использования на устройстве, а также новую технологию тактильного восприятия для робототехники. В этой статье мы разберём последние релизы Meta FAIR и рассмотрим возможности каждого инструмента. Начнём!

Усовершенствованная Segment Anything Model от Meta: SAM 2.1#

Сегментация объектов, важная задача компьютерного зрения, позволяет находить и разделять отдельные объекты на изображении или видео, упрощая анализ конкретных интересующих областей. С момента выпуска Segment Anything Model 2 (SAM 2) от Meta использовалась для сегментации объектов в различных областях, включая медицинскую визуализацию и метеорологию. С учётом отзывов сообщества Meta представила SAM 2.1 — улучшенную версию, которая призвана решить некоторые проблемы исходной модели и обеспечить более высокую производительность в целом.

Рис. 1. Сравнительное тестирование производительности модели SAM 2.1.

SAM 2.1 включает обновления для более эффективной работы с визуально похожими и небольшими объектами благодаря новым методам аугментации данных. Модель также лучше обрабатывает окклюзии (ситуации, когда части объекта скрыты от наблюдения), поскольку обучается на более длинных видеопоследовательностях. Это позволяет ей «запоминать» и распознавать объекты во времени, даже если они временно закрыты. Например, если кто-то снимает видео человека, идущего за деревом, SAM 2.1 может отслеживать человека, когда он появляется с другой стороны, используя память о положении объекта и его движении, чтобы восстановить пропущенные данные при кратковременном прерывании обзора.

Вместе с этими обновлениями Meta выпустила SAM 2 Developer Suite с открытым исходным кодом для обучения и полной инфраструктурой демонстраций, чтобы разработчики могли дообучать SAM 2.1 на собственных данных и интегрировать её в различные приложения.

CoTracker3: модель отслеживания Meta, её возможности и обновления#

Ещё одна интересная задача компьютерного зрения — отслеживание точек. Она заключается в отслеживании определённых точек или признаков на нескольких кадрах видео. Представь видео, на котором велосипедист едет по трассе: отслеживание точек позволяет модели сохранять траектории точек на велосипедисте, например шлема или колёс, даже если на мгновение их закрывают препятствия.

Отслеживание точек необходимо для таких приложений, как 3D-реконструкция, робототехника и монтаж видео. Традиционные модели часто зависят от сложных конфигураций и больших синтетических наборов данных, что ограничивает их эффективность в реальных сценариях.

Модель отслеживания CoTracker3 от Meta устраняет эти ограничения, упрощая архитектуру модели. Она также вводит технику псевдо-разметки, которая позволяет модели обучаться на реальных видео без аннотаций, делая CoTracker3 более эффективной и масштабируемой для практического применения.

Рис. 2. Сравнение CoTracker3 с другими моделями отслеживания.

Одна из особенностей, выделяющих CoTracker3, — эффективная работа с окклюзиями. Используя межтрековое внимание — технику, которая позволяет модели обмениваться информацией между несколькими отслеживаемыми точками, — CoTracker3 может выводить положения скрытых точек, опираясь на видимые. Благодаря этому CoTracker3 особенно эффективна в динамичных средах, например при отслеживании человека в толпе.

CoTracker3 также поддерживает онлайн- и офлайн-режимы. Онлайн-режим обеспечивает отслеживание в реальном времени, а офлайн-режим можно использовать для более полного отслеживания на протяжении всей видеопоследовательности — например, для монтажа видео или анимации.

Другие обновления и исследования Meta FAIR#

Хотя SAM 2.1 и CoTracker3 демонстрируют последние достижения Meta в области компьютерного зрения, в других областях ИИ также происходят интересные изменения, например в сфере обработки естественного языка (NLP) и робототехники. Давай рассмотрим некоторые другие недавние разработки Meta FAIR.

Spirit LM от Meta: инновации в области языковых и мультимодальных моделей#

Spirit LM от Meta — это новая мультимодальная языковая модель, объединяющая возможности работы с текстом и речью, благодаря чему взаимодействие с ИИ становится более естественным. В отличие от традиционных моделей, работающих только с текстом или только с речью, Spirit LM может плавно переключаться между ними.

Spirit LM может понимать и генерировать язык более естественным для человека образом. Например, она может улучшить работу виртуальных ассистентов, которые умеют слушать и отвечать устно или письменно, либо поддерживать инструменты доступности, преобразующие речь в текст и текст в речь.

Рис. 3. Пример преобразования текста в речь с использованием Meta Spirit LM.

Кроме того, Meta разработала методы повышения эффективности больших языковых моделей. Один из них, Layer Skip, помогает снизить вычислительные потребности и энергозатраты, активируя только слои, необходимые для конкретной задачи. Это особенно полезно для приложений, работающих на устройствах с ограниченными ресурсами памяти и питания.

Развивая идею необходимости развёртывания приложений ИИ на таких устройствах, Meta также выпустила квантованные версии своих моделей Llama. Эти модели сжаты для более быстрой работы на мобильных устройствах без ущерба для точности.

Взгляд на будущее оптимизации с Meta Lingua#

По мере роста размера и сложности моделей ИИ оптимизация процесса их обучения становится критически важной. В области оптимизации Meta представила Meta Lingua — гибкую и эффективную кодовую базу, которая упрощает обучение больших языковых моделей. Модульная архитектура Meta Lingua позволяет исследователям быстро настраивать и масштабировать свои эксперименты.

Исследователи могут тратить меньше времени на техническую настройку и больше — на собственно исследования. Кодовая база также лёгкая и удобная для интеграции, поэтому подходит как для небольших экспериментов, так и для масштабных проектов. Устраняя эти технические препятствия, Meta Lingua помогает исследователям быстрее продвигаться вперёд и легче проверять новые идеи.

Рис. 4. Обзор Meta Lingua.

Усовершенствования Meta в области безопасности ИИ#

По мере развития технологий квантовых вычислений возникают новые проблемы в сфере безопасности данных. В отличие от современных компьютеров, квантовые компьютеры, вероятно, смогут решать сложные вычисления значительно быстрее. Это означает, что потенциально они смогут взламывать методы шифрования, используемые сейчас для защиты конфиденциальной информации. Поэтому исследования в этой области становятся всё важнее: по мере подготовки к будущему квантовых вычислений необходимо разрабатывать новые способы защиты данных.

Для решения этой задачи Meta разработала Salsa — инструмент, предназначенный для усиления постквантовой криптографической безопасности. Salsa помогает исследователям тестировать атаки с использованием ИИ и выявлять потенциальные слабые места, позволяя лучше понимать и устранять уязвимости криптографических систем. Моделируя сложные сценарии атак, Salsa предоставляет ценные сведения, которые могут помочь в разработке более надёжных и устойчивых мер безопасности для эпохи квантовых вычислений.

ИИ в Meta: последние инновации в робототехнике#

Последние разработки Meta в области робототехники направлены на то, чтобы ИИ естественнее взаимодействовал с физическим миром, улучшая тактильное восприятие, ловкость и сотрудничество с людьми. В частности, Meta Digit 360 — это усовершенствованный тактильный датчик, который даёт роботам более точное ощущение прикосновения. Датчики помогают роботам распознавать такие характеристики, как текстура, давление и даже форма объектов. Благодаря этим данным роботы могут точнее обращаться с предметами, что особенно важно в таких областях, как здравоохранение и производство.

Вот некоторые ключевые особенности Meta Digit 360:

• Он оснащён 18 отдельными сенсорными функциями, позволяющими фиксировать широкий спектр тактильных характеристик.
• Датчик распознаёт изменения давления всего от 1 миллиньютона, позволяя роботам реагировать на тонкие текстуры и едва заметные движения.
• На поверхности кончика пальца расположено более 8 миллионов такселей (крошечных сенсорных точек), которые формируют карту тактильной информации высокого разрешения.

Расширением Meta Digit 360 стала Meta Digit Plexus — платформа, объединяющая различные тактильные датчики на одной роботизированной кисти. Такая конфигурация позволяет роботам одновременно обрабатывать тактильную информацию из нескольких точек, подобно тому, как человеческие руки собирают сенсорные данные.

Рис. 5. Meta Digit Plexus.

Основа для следующего этапа развития ИИ#

Последние обновления ИИ от Meta — от достижений в компьютерном зрении с SAM 2.1 и CoTracker3 до новых разработок в области языковых моделей и робототехники — показывают, как ИИ постепенно переходит от теории к практическим решениям, способным приносить реальную пользу.

Эти инструменты призваны сделать ИИ более адаптивным и полезным в разных областях: от сегментации сложных изображений до понимания человеческого языка и даже совместной работы с нами в физическом пространстве.

Ставя во главу угла доступность и применение в реальном мире, Meta FAIR приближает нас к будущему, в котором ИИ сможет решать реальные задачи и значимо улучшать нашу повседневную жизнь.

Интересуешься ИИ? Присоединяйся к нашему сообществу, чтобы получать последние новости и аналитические материалы, и загляни в наш репозиторий на GitHub. Ты также можешь узнать, как компьютерное зрение применяется в таких отраслях, как беспилотные автомобили и сельское хозяйство!