Бесшовное развертывание Ultralytics YOLO11 с помощью интеграции MNN

Сегодня инновации в области ИИ вышли за пределы удаленных серверных сред. Решения на базе ИИ интегрируются в периферийные устройства, такие как датчики и смартфоны. Благодаря этому технологическому сдвигу данные теперь могут обрабатываться непосредственно там, где они генерируются, что обеспечивает более быстрый отклик, улучшенную конфиденциальность и снижает зависимость от постоянного облачного подключения.

В результате edge AI набирает популярность в самых разных отраслях. Ожидается, что к 2031 году edge AI software market достигнет 8,88 миллиардов долларов, поскольку все больше систем переходят на более быструю и локальную обработку данных.

В частности, computer vision, ветвь ИИ, которая занимается распознаванием изображений и видео, стремительно внедряется на периферийных устройствах. От подсчета продуктов питания при упаковке до помощи транспортным средствам в обнаружении пешеходов — компьютерное зрение находит бесчисленное множество практических применений в различных секторах.

Это становится возможным благодаря моделям компьютерного зрения. Например, Ultralytics YOLO11 — это модель, которая поддерживает различные задачи визуального ИИ, такие как обнаружение объектов, сегментация экземпляров, трекинг объектов и оценка поз. Она разработана как быстрая и эффективная и отлично работает на устройствах с ограниченными аппаратными ресурсами.

Рис. 1. Обнаружение и отслеживание упаковки еды с помощью Ultralytics YOLO11 (Источник).

Помимо пригодности для развертывания на периферийных устройствах, благодаря различным integrations, поддерживаемым Ultralytics, модель YOLO11 может экспортироваться в различные форматы, подходящие для разных аппаратных сред.

Один из самых эффективных вариантов — это MNN (Mobile Neural Network), легковесный движок вывоза, разработанный для устройств с ограниченными ресурсами. Экспорт Ultralytics YOLO11 в MNN позволяет запускать модель напрямую на мобильных телефонах, встраиваемых системах и других краевых платформах, где критически важна быстрая обработка на самом устройстве.

В этой статье мы рассмотрим, как работает интеграция MNN, выделим популярные сценарии использования и покажем, как начать выполнение выводов с помощью экспортированной модели Ultralytics YOLO11. Давай начнем!

Обзор MNN: Фреймворк глубокого обучения#

Запуск computer vision models на небольших устройствах, таких как мобильные телефоны, промышленные датчики и портативные системы, не всегда прост. Эти устройства часто имеют ограниченную память, более медленные процессоры и жесткие ограничения по энергопотреблению.

Mobile Neural Network, или MNN, — это легковесный и высокопроизводительный движок для инференса, разработанный Alibaba, чтобы обеспечить эффективную работу моделей ИИ на оборудовании с ограниченными ресурсами при сохранении производительности в реальном времени. MNN поддерживает широкий спектр платформ, включая Android, iOS и Linux, и работает на различных типах оборудования, таких как центральные процессоры (CPU) и графические процессоры (GPU).

Рис. 2. Обзор фреймворка MNN (Source).

Интеграция MNN, поддерживаемая Ultralytics, позволяет легко экспортировать модели YOLO11 в формат MNN. Проще говоря, это означает, что модели можно конвертировать из формата YOLO в MNN.

После конвертации их можно развертывать на устройствах, поддерживающих фреймворк MNN, для эффективного инференса на устройстве. Ключевое преимущество использования формата MNN заключается в том, что он упрощает развертывание Ultralytics YOLO11 в сценариях, где размер, скорость и эффективность использования ресурсов имеют критическое значение.

Основные особенности бэкенда для инференса MNN#

Прежде чем мы перейдем к использованию интеграции MNN, давай посмотрим, что делает фреймворк MNN отличным выбором для запуска моделей ИИ на реальных устройствах. Он создан для работы в условиях уникальных ограничений периферийных сред, обеспечивая при этом быструю и надежную производительность.

Интересно, что MNN внутренне используется в Alibaba в более чем 30 приложениях, включая Taobao, Tmall, Youku, DingTalk и Xianyu, в широком спектре сценариев: от трансляций видео и короткого контента до поиска изображений и проверок безопасности на устройстве. Он поддерживает широкомасштабное развертывание и выполняет миллионы инференсов в день в производственных средах.

Вот некоторые из ключевых особенностей фреймворка MNN:

• Автоматический выбор бэкенда: MNN может автоматически выбирать наиболее подходящий бэкенд для выполнения, например CPU или GPU, в зависимости от оборудования, на котором он запущен.
• Multi-threaded execution: Поддерживается многопоточность, что позволяет в полной мере задействовать многоядерные процессоры для ускорения инференса.
• Поддержка квантования моделей: Это позволяет значительно сократить размер модели с помощью квантования FP16 или INT8, помогая повысить скорость инференса при меньшем потреблении памяти.
• Легкость и быстродействие: MNN имеет очень малый размер: основная библиотека занимает около 400 КБ на Android и около 5 МБ на iOS, что делает его идеальным для мобильных и встроенных устройств.

Понимание того, как работает интеграция MNN#

Далее давай разберем, как экспортировать модели Ultralytics YOLO11 в формат MNN.

Первый шаг — установка Ultralytics Python package, который содержит всё необходимое для экспорта моделей YOLO11 в формат MNN. Ты можешь сделать это, выполнив команду "pip install ultralytics" в терминале или командной строке. Если ты используешь Jupyter Notebook или Google Colab, добавь восклицательный знак перед командой.

Если в процессе установки возникнут какие-либо проблемы, обратись к руководству Common Issues guide за советами по устранению неполадок.

Как только твое окружение настроено, ты сможешь загрузить предобученную модель YOLO11, такую как "yolo11n.pt", и экспортировать ее в формат MNN, как показано в примере кода ниже. Если ты обучил свою собственную модель YOLO11, ты можешь экспортировать ее, просто заменив имя файла на путь к твоей модели.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="mnn")

После конвертации модели в MNN ты можешь использовать ее на различных мобильных и встроенных платформах в зависимости от нужд твоего приложения.

Например, предположим, что ты хочешь протестировать экспортированную модель на видео с дорожным движением. В этом случае ты можешь загрузить модель Ultralytics YOLO11 в формате MNN для обнаружения таких объектов, как автомобили, пешеходы и дорожные знаки, прямо на устройстве, как показано в примере ниже.

mnn_model = YOLO("yolo11n.mnn")
results = mnn_model("https://videos.pexels.com/video-files/27783817/12223745_1920_1080_24fps.mp4", save=True)

По завершении инференса выходное видео с обнаруженными объектами автоматически сохраняется в папку 'runs/detect/predict'. Кроме того, если ты хочешь запустить инференс напрямую через пакет MNN Python, ознакомься с официальной Ultralytics documentation для получения подробностей и примеров.

Рис. 3. Анализ дорожного движения с помощью модели Ultralytics YOLO11, экспортированной в формат MNN. Изображение автора.

Варианты использования развертывания периферийных моделей ИИ на базе Ultralytics YOLO11 и MNN#

Развертывание Ultralytics YOLO11 с помощью MNN обеспечивает быстрое и эффективное выполнение задач компьютерного зрения, таких как обнаружение объектов, в средах, где облачная обработка непрактична или невозможна. Давай посмотрим, как эта интеграция может быть особенно полезна в реальных сценариях.

Mobile edge AI для идентификации болезней растений#

Приложения для определения болезней растений, использующие image classification, набирают популярность среди садоводов, исследователей и любителей природы. Всего по одной фотографии пользователи могут быстро выявить ранние признаки заболеваний, такие как пятна на листьях или изменение цвета. Поскольку эти приложения часто используются на открытом воздухе, где доступ к интернету может быть ограничен или отсутствовать, надеяться на облачную обработку не всегда целесообразно.

После обучения модель Ultralytics YOLO11 можно экспортировать в формат MNN и запускать напрямую на мобильных устройствах. Затем модель может классифицировать виды растений и обнаруживать видимые симптомы заболеваний локально, не отправляя никаких данных на сервер.

Рис. 4. Пример использования YOLO11 для обнаружения признаков ржавчины (болезни растений) на листе (Source).

Эффективный инференс на устройстве в производстве#

Точное отслеживание упаковок имеет решающее значение на загруженных производственных линиях на производственных предприятиях. Ultralytics YOLO11 можно использовать для отслеживания и подсчета каждого изделия по мере его прохождения через ключевые контрольные точки, обновления счетчиков в реальном времени и выявления любых расхождений. Это помогает сократить количество пропущенных или неучтенных отправлений и обеспечивает более слаженную и надежную работу.

Рис. 5. Отслеживание и подсчет упаковок с помощью YOLO11 (Source).

Интеграция MNN может сыграть особенно важную роль в этом контексте. Как только модель Ultralytics YOLO11 экспортирована в формат MNN, она может работать напрямую на компактных маломощных устройствах, установленных вдоль конвейера.

Поскольку вся обработка происходит локально, система может выдавать мгновенную обратную связь и не требует подключения к интернету. Это обеспечивает быструю и надежную производительность в цеху, поддерживая эффективную работу производства при сохранении высокой точности и контроля.

Преимущества экспорта Ultralytics YOLO11 в формат модели MNN#

Вот некоторые из ключевых преимуществ интеграции MNN, предоставляемой Ultralytics:

• Более быстрое время отклика: Поскольку инференс выполняется на устройстве, прогнозы делаются в реальном времени с минимальной задержкой.
• Improved data privacy: Данные остаются на устройстве, что снижает необходимость отправки конфиденциальных изображений или видео в облако.
• Open-source и активная поддержка: Поддерживаемый Alibaba и активным сообществом, MNN является надежным и регулярно обновляется с улучшениями производительности.

Факторы, которые следует учитывать при использовании фреймворка MNN#

Прежде чем выбирать MNN в качестве фреймворка для развертывания, также важно оценить, насколько хорошо он соответствует требованиям твоего проекта, целям развертывания и техническим ограничениям. Вот несколько ключевых факторов для рассмотрения:

• Постоянная совместимость: Обновления фреймворка или изменения в целевых платформах могут потребовать повторного тестирования или корректировок для обеспечения бесперебойной работы.
• Меньше инструментов отладки: По сравнению с более крупными фреймворками, MNN имеет более ограниченные инструменты для отладки и проверки поведения модели, что может усложнить устранение неполадок.
• Производительность зависит от оборудования: Скорость и эффективность твоей модели будут варьироваться в зависимости от устройства. Тестируй целевое оборудование, чтобы убедиться, что оно соответствует твоим целям производительности.

Основные выводы#

Поддержка интеграции MNN от Ultralytics упрощает экспорт моделей YOLO11 для использования на мобильных и встроенных устройствах. Это практичный вариант для приложений, которые требуют быстрого и надежного обнаружения без зависимости от облачного доступа или постоянного подключения.

Такая конфигурация помогает оптимизировать развертывание, сохраняя при этом высокую производительность и низкие требования к ресурсам. Создаешь ли ты системы умного дома, полевые инструменты или компактные промышленные устройства, экспорт Ultralytics YOLO11 в MNN предоставляет гибкий и эффективный способ выполнения задач компьютерного зрения прямо на периферийных устройствах.

Присоединяйся к нашему растущему community! Изучи наш GitHub repository, чтобы глубже погрузиться в ИИ. Готов начать свои проекты по компьютерному зрению? Ознакомься с нашими licensing options. Узнай больше об AI in healthcare и computer vision in retail на наших страницах решений!