FastVLM: Apple представляет новую быструю модель компьютерного зрения и языка

На конференции CVPR 2025 Apple представила новую модель ИИ с открытым исходным кодом под названием FastVLM. Она предназначена для понимания изображений и языка и работает на устройствах Apple, например iPhone, iPad и Mac. Это позволяет быстро получать интеллектуальные результаты без отправки данных в облако.

FastVLM особенно интересна своей скоростью и эффективностью. Apple разработала новый визуальный энкодер FastViTHD, который помогает модели интерпретировать изображения высокого качества, используя меньше памяти и энергии. Вся обработка выполняется локально на устройстве, что сокращает время ответа и помогает сохранить конфиденциальность пользовательских данных.

В этой статье мы расскажем, как работает FastVLM, чем он отличается от других моделей и почему этот релиз Apple может стать важным шагом вперед для повседневного использования ИИ на твоих устройствах.

Знакомство с визуально-языковыми моделями (VLM)#

Прежде чем разбираться, чем FastVLM примечателен, давай выясним, что означает «VLM» в его названии. Это визуально-языковая модель, предназначенная для понимания визуального содержимого и его связи с языком.

VLM объединяют визуальное понимание и язык, позволяя выполнять такие задачи, как описание фотографии, ответы на вопросы по скриншоту или извлечение текста из документа. Визуально-языковые модели обычно состоят из двух частей: одна обрабатывает изображение и преобразует его в данные, а другая интерпретирует эти данные и генерирует ответ, который можно прочитать или услышать.

Возможно, ты уже пользовался подобными инновациями в области ИИ, даже не замечая этого. Приложения, которые сканируют чеки, считывают удостоверения личности, создают подписи к изображениям или помогают людям с плохим зрением взаимодействовать с экранами, часто незаметно используют визуально-языковые модели.

Что такое FastVLM?#

Apple создала FastVLM для выполнения тех же задач, что и другие визуально-языковые модели, но с большей скоростью, усиленной защитой конфиденциальности и оптимизацией для устройств Apple. Модель может понимать содержимое изображения и отвечать текстом, но, в отличие от многих моделей, которым нужны облачные серверы, FastVLM может работать полностью на твоем iPhone, iPad или Mac.

В целом VLM лучше работают с изображениями высокого разрешения. Например, как видно ниже, FastVLM смог правильно распознать знак «Въезд запрещен» только на изображении высокого разрешения. Однако модели обычно медленнее обрабатывают изображения высокого разрешения. Эту проблему решает FastViTHD.

Рис. 1. Работа FastVLM с изображениями низкого и высокого разрешения. (Источник)

Новый визуальный энкодер Apple FastViTHD помогает FastVLM эффективнее обрабатывать изображения высокого качества, расходуя меньше памяти и энергии. FastViTHD достаточно легковесен, чтобы бесперебойно работать даже на небольших устройствах.

Кроме того, FastVLM находится в открытом доступе в репозитории FastVLM на GitHub: разработчики могут получать исходный код, вносить изменения и использовать его в собственных приложениях в соответствии с условиями лицензии Apple.

Сравнение FastVLM с другими VLM#

По сравнению с другими визуально-языковыми моделями FastVLM оптимизирована для работы на обычных устройствах, таких как смартфоны и ноутбуки. В тестах производительности FastVLM генерировала первое слово или другой выходной результат до 85 раз быстрее, чем такие модели, как LLaVA-OneVision-0.5B.

Рис. 2. Сравнение производительности FastVLM с другими моделями. (Источник)

Вот некоторые стандартные бенчмарки, на которых оценивали FastVLM:

• DocVQA (визуальные вопросы и ответы по документам): этот бенчмарк для визуальных вопросов и ответов оценивает, насколько хорошо модель может читать и понимать текстовую информацию в документах, например в отсканированных бланках или страницах.
• TextVQA (визуальные вопросы и ответы по тексту): этот бенчмарк оценивает, насколько хорошо модель интерпретирует изображения со встроенным текстом и точно отвечает на связанные с ним вопросы.
• GQA: эта задача проверяет способность модели рассуждать, требуя понимать отношения между объектами и сценами на изображении.
• MMMU (масштабное междисциплинарное мультимодальное понимание): этот бенчмарк оценивает работу модели в широком спектре академических дисциплин и форматов, объединяя понимание изображений и текста.
• SEED-Bench: этот бенчмарк оценивает общие возможности модели в области визуального понимания и рассуждений в различных областях.

По результатам этих бенчмарков FastVLM показал конкурентоспособные результаты, расходуя меньше ресурсов. Модель делает практичные технологии компьютерного зрения доступными на повседневных устройствах, например телефонах, планшетах и ноутбуках.

Эффективный визуальный энкодер FastVLM: FastViTHD#

Теперь подробнее рассмотрим FastViTHD — визуальный энкодер, который играет ключевую роль в обработке изображений FastVLM.

Большинство визуально-языковых моделей делят изображение на тысячи небольших фрагментов, называемых токенами. Чем больше токенов, тем больше времени и энергии требуется модели для понимания изображения. Из-за этого обработка может замедляться, особенно на телефонах и ноутбуках.

Рис. 3. Как визуальный энкодер обрабатывает изображение. (Источник)

FastViTHD позволяет избежать замедления при обработке слишком большого количества токенов: он использует меньше токенов, но при этом понимает изображение целиком. Модель объединяет два подхода: трансформеры, которые хорошо моделируют закономерности и связи, и сверточные слои, эффективно обрабатывающие визуальные данные. В результате система работает быстрее и использует меньше памяти.

По данным Apple, FastViTHD до 3,4 раза компактнее некоторых традиционных визуальных энкодеров, сохраняя при этом высокую точность. Вместо таких методов оптимизации модели, как отсечение токенов (удаление менее важных фрагментов изображения для ускорения обработки), энкодер повышает эффективность за счет более простой и лаконичной архитектуры.

Варианты моделей FastVLM и конвейер обучения#

Apple выпустила FastVLM в трех вариантах размера: 0.5B, 1.5B и 7B параметров (здесь «B» означает миллиард и указывает на количество обучаемых весов модели). Каждый вариант рассчитан на разные типы устройств. Меньшие модели могут работать на телефонах и планшетах, а более крупная модель 7B лучше подходит для настольных компьютеров и более сложных задач.

Благодаря этому разработчики могут выбрать вариант, который лучше всего подходит для их приложений. Они могут создать быстрое и легковесное решение для мобильных устройств или более сложное — для крупных систем, используя при этом одну и ту же базовую архитектуру модели.

Apple обучила варианты модели FastVLM с помощью конвейера LLaVA‑1.5 — платформы для согласования визуальных и языковых моделей. Для языкового компонента FastVLM проверили на существующих моделях с открытым исходным кодом, таких как Qwen и Vicuna, известных способностью генерировать естественный и связный текст. Благодаря такой конфигурации FastVLM может обрабатывать как простые, так и сложные изображения и выдавать понятные и релевантные ответы.

Значение FastVLM: эффективный подход Apple к ИИ#

Возможно, ты задаешься вопросом, почему эффективная обработка изображений в FastVLM так важна. Все дело в том, что приложения могут плавно работать в реальном времени без подключения к облаку. FastVLM обрабатывает изображения высокого разрешения размером до 1152 × 1152 пикселей и при этом остается достаточно быстрой и легковесной, чтобы работать прямо на устройстве.

Это позволяет приложениям описывать то, что видит камера, сканировать чеки по мере их получения или реагировать на изменения на экране, не передавая данные с устройства. Это особенно полезно в таких областях, как образование, доступность, повышение продуктивности и фотография.

Эффективность FastViTHD при обработке даже больших изображений помогает устройствам оставаться отзывчивыми и не перегреваться. Энкодер работает со всеми вариантами модели, включая самый маленький, который запускается на базовых моделях iPhone. Это означает, что одни и те же функции ИИ доступны на телефонах, планшетах и Mac.

Применение FastVLM#

FastVLM подходит для самых разных приложений благодаря таким ключевым преимуществам, как скорость, эффективность и защита конфиденциальности на устройстве. Вот несколько примеров использования:

• Чтение документов: модель может сканировать чеки, формы и удостоверения личности, извлекая только нужную информацию. Она умеет фокусироваться на определенных областях изображения, что полезно для приложений, которым нужно быстро и точно выполнять извлечение текста.
• Подписи к изображениям: анализируя фотографию, модель может создать понятное описание изображенного на ней. Это пригодится в приложениях камеры, фотогалереях и других инструментах, которым нужно понимать визуальную информацию в реальном времени.
• Поддержка доступности: FastVLM может описывать содержимое экрана для незрячих пользователей и людей с плохим зрением, помогая им ориентироваться в кнопках, меню и других элементах интерфейса и пользоваться ими.
• ИИ-ассистенты на устройстве: FastVLM хорошо подходит для ИИ-ассистентов, которым нужно быстро понимать, что отображается на экране. Поскольку модель работает непосредственно на устройстве и сохраняет конфиденциальность данных, она может помогать читать текст, распознавать кнопки и значки, а также подсказывать пользователям действия в реальном времени, не отправляя информацию в облако.

Рис. 4. FastVLM можно использовать для распознавания текста и визуальных вопросов и ответов. (Источник)

Главные выводы#

FastVLM переносит визуально-языковой ИИ на устройства Apple, объединяя скорость, защиту конфиденциальности и эффективность. Благодаря легковесной конструкции и публикации с открытым исходным кодом модель обеспечивает понимание изображений в реальном времени в мобильных и настольных приложениях.

Это делает ИИ практичнее и доступнее для повседневного использования и дает разработчикам надежную основу для создания полезных приложений, ориентированных на защиту конфиденциальности. В дальнейшем визуально-языковые модели, вероятно, будут играть важную роль во взаимодействии с технологиями, делая ИИ более отзывчивым, учитывающим контекст и полезным в повседневных ситуациях.

Загляни в наш репозиторий на GitHub, чтобы узнать больше об ИИ. Присоединяйся к нашему активному сообществу и знакомься с инновациями в таких сферах, как ИИ в автомобильной промышленности и компьютерное зрение в производстве. Чтобы уже сегодня приступить к работе с компьютерным зрением, изучи наши варианты лицензирования.