Бесшовное развертывание Ultralytics YOLO11 с помощью интеграции MNN

Сегодня инновации в области ИИ вышли за пределы удаленных серверных сред. Решения на базе ИИ интегрируются в периферийные устройства, такие как датчики и смартфоны. Благодаря этому технологическому сдвигу данные теперь могут обрабатываться непосредственно там, где они генерируются, что обеспечивает более быстрый отклик, улучшенную конфиденциальность и снижает зависимость от постоянного облачного подключения.

В результате edge AI набирает популярность во многих отраслях. Ожидается, что рынок ПО для edge AI достигнет $8,88 млрд к 2031 году, поскольку все больше систем переходят к более быстрой и локальной обработке данных.

В частности, computer vision — отрасль ИИ, специализирующаяся на распознавании изображений и видео, — стремительно внедряется на периферийных устройствах. От подсчета упакованных продуктов до помощи автомобилям в обнаружении пешеходов: computer vision поддерживает бесчисленное множество практических приложений в различных секторах.

Это стало возможным благодаря моделям computer vision. Например, Ultralytics YOLO11 — это модель, поддерживающая различные задачи vision AI, такие как обнаружение объектов, сегментация экземпляров, отслеживание объектов и оценка позы. Она разработана как быстрая и эффективная модель, которая хорошо работает на устройствах с ограниченными аппаратными ресурсами.

Рис. 1. Обнаружение и отслеживание упаковки пищевых продуктов с помощью YOLO11 (Источник).

Помимо пригодности для развертывания на периферии, благодаря различным интеграциям, поддерживаемым Ultralytics, YOLO11 можно экспортировать в различные форматы, подходящие для разных аппаратных сред.

Одним из наиболее эффективных вариантов является MNN (Mobile Neural Network), легковесный движок для инференса, разработанный для устройств с ограниченными ресурсами. Экспорт YOLO11 в MNN позволяет запускать модель непосредственно на мобильных телефонах, встроенных системах и других периферийных платформах, где критически важна быстрая обработка на самом устройстве.

В этой статье мы рассмотрим, как работает интеграция MNN, выделим распространенные варианты использования и расскажем, как начать выполнять инференс с помощью экспортированной модели YOLO11. Давай приступим!

Link to this sectionОбзор MNN: Фреймворк глубокого обучения#

Запуск моделей computer vision на небольших устройствах, таких как мобильные телефоны, промышленные датчики и портативные системы, не всегда прост. Эти устройства часто имеют ограниченный объем памяти, более медленные процессоры и жесткие ограничения по энергопотреблению.

Mobile Neural Network, или MNN, — это легковесный и высокопроизводительный движок для инференса, разработанный Alibaba, чтобы обеспечить эффективную работу моделей ИИ на оборудовании с ограниченными ресурсами при сохранении производительности в реальном времени. MNN поддерживает широкий спектр платформ, включая Android, iOS и Linux, и работает на различных типах оборудования, таких как центральные процессоры (CPU) и графические процессоры (GPU).

Рис. 2. Взгляд на фреймворк MNN (Источник).

Интеграция MNN, поддерживаемая Ultralytics, позволяет легко экспортировать модели YOLO11 в формат MNN. Проще говоря, это означает, что модели можно конвертировать из формата YOLO в MNN.

После конвертации их можно развертывать на устройствах, поддерживающих фреймворк MNN, для эффективного инференса непосредственно на устройстве. Ключевое преимущество использования формата MNN заключается в том, что он упрощает развертывание YOLO11 в сценариях, где размер, скорость и эффективность использования ресурсов имеют решающее значение.

Link to this sectionОсновные особенности бэкенда для инференса MNN#

Прежде чем мы перейдем к использованию интеграции MNN, давай посмотрим, что делает фреймворк MNN отличным выбором для запуска моделей ИИ на реальных устройствах. Он создан для работы в условиях уникальных ограничений периферийных сред, обеспечивая при этом быструю и надежную производительность.

Интересно, что MNN внутренне используется в Alibaba в более чем 30 приложениях, включая Taobao, Tmall, Youku, DingTalk и Xianyu, в широком спектре сценариев: от трансляций видео и короткого контента до поиска изображений и проверок безопасности на устройстве. Он поддерживает широкомасштабное развертывание и выполняет миллионы инференсов в день в производственных средах.

Вот некоторые из ключевых особенностей фреймворка MNN:

• Автоматический выбор бэкенда: MNN может автоматически выбирать наиболее подходящий бэкенд для выполнения, например CPU или GPU, в зависимости от оборудования, на котором он запущен.
• Многопоточное выполнение: Он поддерживает многопоточность, что позволяет в полной мере использовать возможности многоядерных процессоров для более быстрого инференса.
• Поддержка квантования моделей: Это позволяет значительно сократить размер модели с помощью квантования FP16 или INT8, помогая повысить скорость инференса при меньшем потреблении памяти.
• Легкость и быстродействие: MNN имеет очень малый размер: основная библиотека занимает около 400 КБ на Android и около 5 МБ на iOS, что делает его идеальным для мобильных и встроенных устройств.

Link to this sectionПонимание того, как работает интеграция MNN#

Далее давай разберем, как экспортировать модели YOLO11 в формат MNN.

Первым шагом является установка пакета Ultralytics Python, который предоставляет все необходимое для экспорта моделей YOLO11 в формат MNN. Ты можешь сделать это, выполнив команду "pip install ultralytics" в своем терминале или командной строке. Если ты используешь Jupyter Notebook или Google Colab, добавь восклицательный знак перед командой.

Если ты столкнешься с какими-либо проблемами во время установки, обратись к руководству по распространенным проблемам для получения советов по устранению неполадок.

Как только твое окружение настроено, ты сможешь загрузить предобученную модель YOLO11, такую как "yolo11n.pt", и экспортировать ее в формат MNN, как показано в примере кода ниже. Если ты обучил свою собственную модель YOLO11, ты можешь экспортировать ее, просто заменив имя файла на путь к твоей модели.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="mnn")

После конвертации модели в MNN ты можешь использовать ее на различных мобильных и встроенных платформах в зависимости от нужд твоего приложения.

Например, допустим, ты хочешь протестировать экспортированную модель на видео с дорожным движением. В этом случае ты можешь загрузить модель YOLO11 в формате MNN, чтобы обнаруживать объекты, такие как транспортные средства, пешеходы и дорожные знаки, непосредственно на устройстве, как показано в примере ниже.

mnn_model = YOLO("yolo11n.mnn")
results = mnn_model("https://videos.pexels.com/video-files/27783817/12223745_1920_1080_24fps.mp4", save=True)

Когда инференс будет завершен, выходное видео с обнаруженными объектами будет автоматически сохранено в папке 'runs/detect/predict'. Кроме того, если ты хочешь выполнить инференс, используя пакет MNN Python напрямую, ты можешь ознакомиться с официальной документацией Ultralytics для получения более подробной информации и примеров.

Рис. 3. Анализ дорожного движения с помощью модели YOLO11, экспортированной в формат MNN. Автор изображения: автор.

Link to this sectionВарианты использования развертывания моделей edge AI, реализованные с помощью YOLO11 и MNN#

Развертывание YOLO11 с помощью MNN позволяет выполнять быстрые и эффективные задачи computer vision, такие как обнаружение объектов, в средах, где облачная обработка непрактична или невозможна. Давай посмотрим, как эта интеграция может быть особенно полезна в реальных сценариях.

Link to this sectionMobile edge AI для идентификации болезней растений#

Приложения для идентификации болезней растений, использующие классификацию изображений, становятся популярными среди садоводов, исследователей и любителей природы. С помощью всего лишь фотографии пользователи могут быстро идентифицировать ранние признаки болезни, такие как пятна на листьях или обесцвечивание. Поскольку такие приложения часто используются на открытом воздухе, где доступ к интернету может быть ограничен или отсутствовать, полагаться на облачную обработку бывает ненадежно.

После обучения модель YOLO11 можно экспортировать в формат MNN и запускать непосредственно на мобильных устройствах. Затем модель может классифицировать виды растений и обнаруживать видимые симптомы болезней локально, не отправляя данные на сервер.

Рис. 4. Пример использования YOLO11 для обнаружения признаков ржавчины (болезни растений) на листе (Источник).

Link to this sectionЭффективный инференс на устройстве в производстве#

Точное отслеживание посылок необходимо на оживленных производственных линиях на производственных объектах. YOLO11 можно использовать для отслеживания и подсчета каждого товара по мере его прохождения через ключевые контрольные точки, обновляя количество в реальном времени и отмечая любые расхождения. Это помогает сократить количество пропущенных или неучтенных поставок и поддерживает более плавную и надежную работу.

Рис. 5. Отслеживание и подсчет посылок с помощью YOLO11 (Источник).

Интеграция MNN может быть особенно эффективной в этом контексте. После того как модель YOLO11 экспортирована в формат MNN, она может работать непосредственно на компактных устройствах с низким энергопотреблением, установленных вдоль конвейера.

Поскольку вся обработка происходит локально, система может выдавать мгновенную обратную связь и не требует подключения к интернету. Это обеспечивает быструю и надежную производительность в цеху, поддерживая эффективную работу производства при сохранении высокой точности и контроля.

Link to this sectionПреимущества экспорта YOLO11 в формат модели MNN#

Вот некоторые из ключевых преимуществ интеграции MNN, предоставляемой Ultralytics:

• Более быстрое время отклика: Поскольку инференс выполняется на устройстве, прогнозы делаются в реальном времени с минимальной задержкой.
• Улучшенная конфиденциальность данных: Данные остаются на устройстве, что снижает необходимость отправки конфиденциальных изображений или видео в облако.
• Open-source и активная поддержка: Поддерживаемый Alibaba и активным сообществом, MNN является надежным и регулярно обновляется с улучшениями производительности.

Link to this sectionФакторы, которые следует учитывать при использовании фреймворка MNN#

Прежде чем выбирать MNN в качестве фреймворка для развертывания, также важно оценить, насколько хорошо он соответствует требованиям твоего проекта, целям развертывания и техническим ограничениям. Вот несколько ключевых факторов для рассмотрения:

• Постоянная совместимость: Обновления фреймворка или изменения в целевых платформах могут потребовать повторного тестирования или корректировок для обеспечения бесперебойной работы.
• Меньше инструментов отладки: По сравнению с более крупными фреймворками, MNN имеет более ограниченные инструменты для отладки и проверки поведения модели, что может усложнить устранение неполадок.
• Производительность зависит от оборудования: Скорость и эффективность твоей модели будут варьироваться в зависимости от устройства. Тестируй целевое оборудование, чтобы убедиться, что оно соответствует твоим целям производительности.

Link to this sectionОсновные выводы#

Поддержка интеграции MNN от Ultralytics упрощает экспорт моделей YOLO11 для использования на мобильных и встроенных устройствах. Это практичный вариант для приложений, которые требуют быстрого и надежного обнаружения без зависимости от облачного доступа или постоянного подключения.

Эта настройка помогает оптимизировать развертывание, сохраняя производительность и поддерживая низкие требования к ресурсам. Строишь ли ты системы "умного дома", полевые инструменты или компактные промышленные устройства, экспорт YOLO11 в MNN обеспечивает гибкий и эффективный способ выполнения задач computer vision непосредственно на периферийных устройствах.

Присоединяйся к нашему растущему сообществу! Изучи наш репозиторий на GitHub, чтобы глубже погрузиться в ИИ. Готов начать свои проекты по computer vision? Ознакомься с нашими вариантами лицензирования. Узнай больше об ИИ в здравоохранении и computer vision в ритейле на страницах наших решений!