Легко разверни Ultralytics YOLO11 с интеграцией MNN

Сегодня инновации в области ИИ вышли за пределы удалённых серверных сред. Решения на базе ИИ интегрируются в периферийные устройства, например датчики и смартфоны. Благодаря этому технологическому сдвигу данные можно обрабатывать непосредственно в месте их создания, что ускоряет реагирование, повышает конфиденциальность и снижает зависимость от постоянного подключения к облаку.

В результате периферийный ИИ набирает популярность во многих отраслях. Ожидается, что объём рынка программного обеспечения для периферийного ИИ к 2031 году достигнет 8,88 млрд долларов по мере перехода всё большего числа систем к более быстрой и локальной обработке данных.

В частности, компьютерное зрение — область ИИ, в которой основное внимание уделяется анализу изображений и видео, — быстро внедряется на периферийных устройствах. Компьютерное зрение помогает решать множество практических задач в разных отраслях: например, подсчитывать продукты при упаковке или помогать автомобилям обнаруживать пешеходов.

Это стало возможным благодаря моделям компьютерного зрения. Например, Ultralytics YOLO11 поддерживает различные задачи визуального ИИ, такие как обнаружение объектов, сегментация экземпляров, оценка позы и отслеживание объектов. Модель разработана для высокой скорости и эффективности и хорошо работает на устройствах с ограниченными аппаратными ресурсами.

Рис. 1. Обнаружение и отслеживание продуктов на упаковочной линии с помощью Ultralytics YOLO11.

Помимо возможности развёртывания на периферийных устройствах, благодаря различным интеграциям, поддерживаемым Ultralytics, YOLO11 можно экспортировать в разные форматы для различных аппаратных сред.

Один из самых эффективных вариантов — MNN (мобильная нейронная сеть), лёгкий движок инференса для устройств с ограниченными ресурсами. Экспорт Ultralytics YOLO11 в MNN позволяет запускать модель непосредственно на мобильных телефонах, встраиваемых системах и других периферийных платформах, где важна быстрая обработка данных на устройстве.

В этой статье мы расскажем, как работает интеграция с MNN, рассмотрим распространённые сценарии использования и объясним, как начать выполнять инференс с экспортированной моделью Ultralytics YOLO11.

Обзор MNN: фреймворк для глубокого обучения#

Запуск моделей компьютерного зрения на небольших устройствах, таких как мобильные телефоны, промышленные датчики и портативные системы, не всегда прост. У таких устройств часто ограниченный объём памяти, менее производительные процессоры и строгие ограничения по энергопотреблению.

Mobile Neural Network, или MNN, — это лёгкий и высокопроизводительный движок инференса, разработанный Alibaba. Он позволяет эффективно запускать модели ИИ на оборудовании с ограниченными ресурсами, сохраняя производительность в реальном времени. MNN поддерживает широкий спектр платформ, в том числе Android, iOS и Linux, и работает с разными типами оборудования, например центральными процессорами (CPUs) и графическими процессорами (GPUs).

Рис. 2. Обзор фреймворка MNN (источник).

Интеграция с MNN, поддерживаемая Ultralytics, позволяет легко экспортировать модели YOLO11 в формат MNN. Проще говоря, модели можно преобразовать из исходного формата PyTorch в MNN.

После преобразования модели можно развернуть на устройствах с поддержкой фреймворка MNN для эффективного инференса непосредственно на устройстве. Главное преимущество формата MNN заключается в том, что он упрощает развёртывание Ultralytics YOLO11 в сценариях, где критически важны размер, скорость и эффективность использования ресурсов.

Основные возможности бэкенда инференса MNN#

Прежде чем перейти к использованию интеграции MNN, рассмотрим, почему этот фреймворк отлично подходит для запуска моделей ИИ на реальных устройствах. Он учитывает специфические ограничения периферийных сред и при этом обеспечивает быструю и надёжную работу.

Интересно, что Alibaba использует MNN внутри компании более чем в 30 приложениях, включая Taobao, Tmall, Youku, DingTalk и Xianyu, в самых разных сценариях: от прямых трансляций, коротких видео и поиска по изображениям до проверок безопасности на устройстве. Фреймворк поддерживает крупномасштабное развёртывание и выполняет миллионы инференсов в день в производственной среде.

Вот некоторые ключевые возможности фреймворка MNN:

• Автоматический выбор бэкенда: MNN автоматически выбирает наиболее подходящий бэкенд выполнения, например CPU или GPU, исходя из характеристик оборудования, на котором он работает.
• Многопоточное выполнение: Поддерживается многопоточность, позволяющая эффективнее использовать многоядерные процессоры и ускорять инференс.
• Поддержка квантования моделей: позволяет значительно уменьшить размер модели с помощью квантования FP16 или INT8, повысить скорость инференса и сократить потребление памяти.
• Компактность и высокая скорость: MNN занимает очень мало места: основная библиотека весит около 400 КБ на Android и примерно 5 МБ на iOS, что делает её подходящей для мобильных и встраиваемых устройств.

Как работает интеграция MNN#

Теперь рассмотрим, как экспортировать модели Ultralytics YOLO11 в формат MNN.

Первый шаг — установить пакет Ultralytics для Python, в котором есть всё необходимое для экспорта моделей YOLO11 в формат MNN. Для этого выполни pip install ultralytics в терминале или командной строке. Если ты используешь Jupyter Notebook или Google Colab, добавь перед командой восклицательный знак.

Если при установке возникнут проблемы, воспользуйся советами по устранению неполадок в руководстве «Частые проблемы».

После настройки среды можно загрузить предварительно обученную модель YOLO11, например «yolo11n.pt», и экспортировать её в формат MNN, как показано в приведённом ниже фрагменте кода. Если ты обучил собственную модель YOLO11, просто замени имя файла путём к своей модели.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="mnn")

Преобразовав модель в MNN, ты сможешь использовать её на разных мобильных и встраиваемых платформах в зависимости от задач приложения.

Например, предположим, что ты хочешь проверить экспортированную модель на видео с дорожным движением. В таком случае можно загрузить модель Ultralytics YOLO11 в формате MNN и обнаруживать непосредственно на устройстве такие объекты, как транспортные средства, пешеходы и дорожные знаки, как показано в примере ниже.

mnn_model = YOLO("yolo11n.mnn")
results = mnn_model("https://videos.pexels.com/video-files/27783817/12223745_1920_1080_24fps.mp4", save=True)

После завершения инференса выходное видео с обнаруженными объектами автоматически сохраняется в папке 'runs/detect/predict'. Если ты хочешь запускать инференс напрямую с помощью пакета MNN для Python, загляни в официальную документацию Ultralytics по MNN: там есть подробности и примеры.

Рис. 3. Анализ дорожного движения с помощью модели Ultralytics YOLO11, экспортированной в формат MNN. Изображение предоставлено автором.

Сценарии применения периферийного ИИ благодаря развёртыванию моделей Ultralytics YOLO11 с MNN#

Развёртывание Ultralytics YOLO11 с MNN позволяет быстро и эффективно решать задачи компьютерного зрения, например обнаружение объектов, в условиях, где облачная обработка данных нецелесообразна или невозможна. Рассмотрим, чем эта интеграция может быть особенно полезна в реальных сценариях.

Периферийный ИИ на мобильных устройствах для выявления болезней растений#

Приложения для выявления болезней растений на основе классификации изображений становятся популярны среди садоводов, исследователей и любителей природы. Достаточно сделать фотографию, чтобы быстро обнаружить ранние признаки болезни, например пятна или изменение цвета листьев. Поскольку такими приложениями часто пользуются на природе, где доступ к интернету может быть ограничен или отсутствовать, облачная обработка данных не всегда надёжна.

После обучения на наборе данных, например PlantDoc, модель Ultralytics YOLO11 можно экспортировать в формат MNN и запускать непосредственно на мобильных устройствах. Затем модель сможет классифицировать виды растений и локально обнаруживать видимые симптомы заболеваний, не отправляя данные на сервер.

Рис. 4. Пример использования YOLO11 для обнаружения признаков ржавчины — болезни растений — на листе (источник).

Эффективный инференс непосредственно на устройстве в производстве#

На загруженных производственных линиях предприятий обрабатывающей промышленности важно точно отслеживать упаковки. Ultralytics YOLO11 можно использовать для отслеживания и подсчёта каждого изделия по мере его прохождения через ключевые контрольные точки, обновления счётчиков в реальном времени и выявления несоответствий. Это помогает сократить число пропущенных или неучтённых отправлений и сделать работу более слаженной и надёжной.

Рис. 5. Отслеживание и подсчёт упаковок с помощью YOLO11 (источник).

В этом случае интеграция MNN может дать особенно заметный эффект. После экспорта модели Ultralytics YOLO11 в формат MNN её можно запускать непосредственно на компактных маломощных устройствах, установленных вдоль конвейера.

Поскольку вся обработка выполняется локально, система может мгновенно выдавать результаты и не нуждается в подключении к интернету. Это обеспечивает быструю и надёжную работу на производстве, помогает поддерживать эффективность производственного процесса и сохранять высокую точность и управляемость.

Преимущества экспорта Ultralytics YOLO11 в формат модели MNN#

Вот несколько основных преимуществ интеграции MNN, предоставляемой Ultralytics:

• Более быстрое реагирование: поскольку инференс выполняется на устройстве, прогнозы формируются в реальном времени с минимальной задержкой.
• Повышенная конфиденциальность данных: данные остаются на устройстве, поэтому конфиденциальные изображения и видео реже приходится отправлять в облако.
• Открытый исходный код и активная поддержка: MNN поддерживается Alibaba и активным сообществом, отличается надёжностью и регулярно обновляется, в том числе за счёт улучшений производительности.

Что учитывать при использовании фреймворка MNN#

Перед выбором MNN в качестве фреймворка для развёртывания важно оценить, насколько он подходит требованиям проекта, целевым платформам и техническим ограничениям. Вот несколько ключевых факторов, которые стоит учесть:

• Совместимость при обновлениях: Обновления фреймворка или изменения целевых платформ могут потребовать повторного тестирования или настройки, чтобы система продолжала работать без сбоев.
• Меньше средств отладки: По сравнению с более крупными фреймворками, в MNN меньше инструментов для отладки и анализа поведения модели, из-за чего устранять неполадки может быть сложнее.
• Производительность зависит от оборудования: Скорость и эффективность модели зависят от устройства. Проверь целевое оборудование, чтобы убедиться, что оно соответствует требованиям к производительности.

Главные выводы#

Благодаря поддержке интеграции MNN со стороны Ultralytics ты можешь легко экспортировать модели YOLO11 для использования на мобильных и встраиваемых устройствах. Это практичный вариант для приложений, которым нужно быстрое и надёжное обнаружение объектов без доступа к облаку или постоянного подключения к сети.

Такая конфигурация упрощает развёртывание, сохраняя производительность и низкие требования к ресурсам. Разрабатываешь ли ты системы умного дома, полевые инструменты или компактные промышленные устройства, экспорт Ultralytics YOLO11 в MNN даёт гибкий и эффективный способ выполнять задачи компьютерного зрения непосредственно на периферийных устройствах.

Присоединяйся к нашему растущему сообществу! Изучи наш репозиторий на GitHub, чтобы глубже погрузиться в ИИ. Готов начать проекты в области компьютерного зрения? Ознакомься с нашими вариантами лицензирования. Узнай больше об ИИ в здравоохранении и компьютерном зрении в розничной торговле на страницах наших решений!