Нажимая “Принять все файлы cookie”, вы соглашаетесь на сохранение файлов cookie на вашем устройстве с целью улучшения навигации по сайту, анализа использования сайта и помощи в наших маркетинговых усилиях. Подробнее
Настройки cookie
Нажимая “Принять все файлы cookie”, вы соглашаетесь на сохранение файлов cookie на вашем устройстве с целью улучшения навигации по сайту, анализа использования сайта и помощи в наших маркетинговых усилиях. Подробнее
Изучите последние модели ИИ от Meta FAIR, SAM 2.1 и CoTracker3, предлагающие расширенные возможности сегментации и отслеживания для различных реальных приложений.
Искусственный интеллект (ИИ) — это область исследований, которая в последнее время вызывает волнение и энергию, с новыми инновациями и прорывами, появляющимися быстрее, чем когда-либо прежде. В последние несколько недель команда Meta Fundamental AI Research (FAIR) представила набор инструментов и моделей, направленных на решение задач в различных областях ИИ. Эти выпуски включают обновления, которые могут повлиять на такие разные области, как здравоохранение, робототехника и дополненная реальность.
Например, обновленная модель SAM 2.1 улучшает сегментацию объектов, упрощая точную идентификацию и разделение объектов на изображениях и видео. Между тем, CoTracker3 фокусируется на отслеживании точек, помогая отслеживать точки в видеокадрах, даже когда объекты перемещаются или частично блокируются.
Meta также представила более легкие и быстрые версии своей языковой модели Llama для эффективного использования на устройстве, а также новую технологию тактильного зондирования для робототехники. В этой статье мы разберем последние выпуски от Meta FAIR, рассмотрев, что предлагает каждый инструмент. Давайте начнем!
Улучшенная модель Segment Anything Model от Meta: SAM 2.1
Сегментация объектов, ключевая задача компьютерного зрения, позволяет идентифицировать и разделять отдельные объекты на изображении или видео, упрощая анализ конкретных интересующих областей. С момента своего выпуска Segment Anything Model 2 (SAM 2) от Meta использовалась для сегментации объектов в различных областях, таких как медицинская визуализация и метеорология. Основываясь на отзывах сообщества, Meta представила SAM 2.1, улучшенную версию, предназначенную для решения некоторых проблем, возникших с оригинальной моделью, и обеспечения более высокой производительности в целом.
Рис. 1. Сравнительный анализ производительности модели SAM 2.1.
SAM 2.1 включает обновления для улучшения обработки визуально похожих и более мелких объектов благодаря новым методам аугментации данных. Она также улучшает обработку моделью окклюзии (когда части объекта скрыты из виду) путем обучения ее на более длинных видеопоследовательностях, что позволяет ей «запоминать» и распознавать объекты с течением времени, даже если они временно заблокированы. Например, если кто-то снимает видео человека, идущего за деревом, SAM 2.1 может отслеживать человека, когда он снова появляется с другой стороны, используя свою память о положении объекта и движении, чтобы заполнить пробелы, когда вид кратковременно прерывается.
Наряду с этими обновлениями Meta выпустила SAM 2 Developer Suite, предоставив код обучения с открытым исходным кодом и полную демонстрационную инфраструктуру, чтобы разработчики могли точно настроить SAM 2.1 с помощью своих собственных данных и интегрировать ее в ряд приложений.
CoTracker3: модель отслеживания Meta, ее функции и обновления
Еще одна интересная задача компьютерного зрения — это отслеживание точек. Она включает в себя отслеживание определенных точек или признаков в нескольких кадрах видео. Представьте себе видео велосипедиста, едущего по трассе — отслеживание точек позволяет модели отслеживать точки на велосипедисте, такие как шлем или колеса, даже если они на мгновение скрыты препятствиями.
Отслеживание точек необходимо для таких приложений, как 3D-реконструкция, робототехника и редактирование видео. Традиционные модели часто полагаются на сложные настройки и большие синтетические наборы данных, что ограничивает их эффективность при применении к реальным сценариям.
Модель отслеживания CoTracker3 от Meta решает эти ограничения, упрощая архитектуру модели. Она также представляет собой псевдо-метод маркировки, который позволяет модели учиться на реальных, неаннотированных видео, что делает CoTracker3 более эффективной и масштабируемой для практического использования.
Рис. 2. Сравнение CoTracker3 с другими моделями отслеживания.
Одной из особенностей, которая выделяет CoTracker3, является то, что она хорошо справляется с окклюзиями. Используя перекрестное внимание, метод, который позволяет модели обмениваться информацией между несколькими отслеживаемыми точками, CoTracker3 может определять положения скрытых точек, ссылаясь на видимые. Благодаря этому CoTracker3 разработан для высокой эффективности в динамических средах, таких как слежение за человеком в многолюдной сцене.
CoTracker3 также предлагает онлайн и офлайн режимы. Онлайн-режим обеспечивает отслеживание в реальном времени. В то время как автономный режим можно использовать для более полного отслеживания по всей видеопоследовательности, что идеально подходит для таких задач, как редактирование видео или анимация.
Другие обновления и исследования от Meta FAIR
В то время как SAM 2.1 и CoTracker3 демонстрируют последние достижения Meta в области компьютерного зрения, есть также интересные обновления в других областях ИИ, таких как обработка естественного языка (NLP) и робототехника. Давайте взглянем на некоторые из этих последних разработок от Meta FAIR.
Spirit LM от Meta: инновации в области ИИ в языковых и мультимодальных моделях
Spirit LM от Meta — это новая мультимодальная языковая модель, которая сочетает в себе возможности текста и речи, делая взаимодействие с ИИ более естественным. В отличие от традиционных моделей, которые обрабатывают только текст или только речь, Spirit LM может плавно переключаться между ними.
Spirit LM способен понимать и генерировать язык способами, которые кажутся более человечными. Например, он может улучшить виртуальных помощников, которые могут как слушать, так и отвечать на устном или письменном языке, или поддерживать инструменты для обеспечения доступности, которые преобразуют речь в текст и наоборот.
Рис. 3. Пример преобразования текста в речь с использованием Meta Spirit LM.
Кроме того, Meta разработала методы повышения эффективности больших языковых моделей. Один из них, называемый Layer Skip, помогает снизить вычислительные потребности и энергозатраты, активируя только те слои, которые необходимы для данной задачи. Это особенно полезно для приложений на устройствах с ограниченным объемом памяти и энергопотреблением.
По мере того, как AI-модели растут в размерах и сложности, оптимизация процесса их обучения становится критически важной. В отношении оптимизации Meta представила Meta Lingua, гибкую и эффективную кодовую базу, которая упрощает обучение больших языковых моделей. Модульная конструкция Meta Lingua позволяет исследователям быстро настраивать и масштабировать свои эксперименты.
Исследователи могут тратить меньше времени на техническую настройку и больше времени на фактические исследования. Кодовая база также легкая и простая в интеграции, что делает ее подходящей как для небольших экспериментов, так и для масштабных проектов. Устраняя эти технические препятствия, Meta Lingua помогает исследователям быстрее добиваться прогресса и с большей легкостью тестировать новые идеи.
По мере развития технологии квантовых вычислений она создает новые проблемы для защиты данных. В отличие от современных компьютеров, квантовые компьютеры, вероятно, смогут решать сложные вычисления гораздо быстрее. Это означает, что они потенциально могут взломать методы шифрования, используемые в настоящее время для защиты конфиденциальной информации. Вот почему исследования в этой области становятся все более важными — разработка новых способов защиты данных имеет важное значение, поскольку мы готовимся к будущему квантовых вычислений.
Для решения этой проблемы Meta разработала Salsa, инструмент, направленный на усиление постквантовой криптографической безопасности. Salsa помогает исследователям тестировать атаки на основе AI и выявлять потенциальные слабые места, позволяя им лучше понимать и устранять уязвимости в криптографических системах. Моделируя сложные сценарии атак, Salsa предоставляет ценную информацию, которая может направлять разработку более надежных и устойчивых мер безопасности для квантовой эры.
AI в Meta: последние инновации в робототехнике
Последние разработки Meta в области робототехники направлены на то, чтобы помочь AI более естественно взаимодействовать с физическим миром, улучшая тактильное восприятие, ловкость и сотрудничество с людьми. В частности, Meta Digit 360 — это усовершенствованный тактильный датчик, который дает роботам утонченное чувство осязания. Датчики помогают роботам обнаруживать такие детали, как текстура, давление и даже формы объектов. Благодаря этим данным роботы могут обращаться с объектами с большей точностью; это имеет решающее значение в таких областях, как здравоохранение и производство.
Вот некоторые из ключевых особенностей Meta Digit 360:
Он оснащен 18 различными функциями зондирования, чтобы иметь возможность фиксировать широкий спектр тактильных деталей.
Датчик может обнаруживать изменения давления всего в 1 миллиньютон, что позволяет роботам реагировать на тонкие текстуры и едва заметные движения.
Он включает в себя более 8 миллионов такселей (крошечных точек зондирования) на поверхности кончика пальца, обеспечивая карту тактильной информации с высоким разрешением.
Расширением Meta Digit 360 является Meta Digit Plexus, платформа, которая объединяет различные сенсорные датчики на одной роботизированной руке. Эта установка позволяет роботам обрабатывать тактильную информацию из нескольких точек одновременно, подобно тому, как человеческие руки собирают сенсорные данные.
Последние обновления Meta в области AI, начиная от достижений в компьютерном зрении с SAM 2.1 и CoTracker3 и заканчивая новыми разработками в языковых моделях и робототехнике, показывают, как AI неуклонно движется от теории к практическим, эффективным решениям.
Эти инструменты призваны сделать AI более адаптируемым и полезным в различных областях, помогая во всем, от сегментации сложных изображений до понимания человеческого языка и даже работы вместе с нами в физическом пространстве.
Уделяя приоритетное внимание доступности и применению в реальном мире, Meta FAIR приближает нас к будущему, в котором AI сможет решать реальные задачи и значимо улучшать нашу повседневную жизнь.
