Бесшовное развертывание Ultralytics YOLO11 с использованием интеграции MNN

Сегодня инновации в области ИИ вышли за пределы удалённых серверных сред. Решения на базе ИИ интегрируются в периферийные устройства, такие как датчики и смартфоны. Благодаря этому технологическому сдвигу данные теперь можно обрабатывать непосредственно там, где они создаются, обеспечивая более быстрый отклик, повышенную конфиденциальность и меньшую зависимость от постоянного подключения к облаку.

В результате периферийный ИИ набирает популярность во многих отраслях. Ожидается, что рынок программного обеспечения для периферийного ИИ достигнет 8,88 млрд долларов к 2031 году, поскольку всё больше систем переходят к более быстрой и локальной обработке данных.

В частности, компьютерное зрение — отрасль ИИ, сосредоточенная на понимании изображений и видео, — быстро внедряется на периферии. От подсчёта продуктов во время упаковки до помощи транспортным средствам в обнаружении пешеходов — компьютерное зрение поддерживает бесчисленное множество практических применений в разных сферах.

Это стало возможным благодаря моделям компьютерного зрения. Например, Ultralytics YOLO11 — модель, поддерживающая различные задачи ИИ в области компьютерного зрения, такие как обнаружение объектов, сегментация экземпляров, отслеживание объектов и оценка позы. Она разработана для быстродействия и эффективности и хорошо работает на устройствах с ограниченными аппаратными ресурсами.

Рис. 1. Обнаружение и отслеживание продуктов во время упаковки с помощью Ultralytics YOLO11 (источник).

Помимо пригодности для периферийного развертывания, благодаря различным интеграциям, поддерживаемым Ultralytics, YOLO11 можно экспортировать в различные форматы, подходящие для разных аппаратных сред.

Один из наиболее эффективных вариантов — MNN (мобильная нейронная сеть), лёгкий движок инференса, разработанный для устройств с ограниченными ресурсами. Экспорт Ultralytics YOLO11 в MNN позволяет запускать её непосредственно на мобильных телефонах, встроенных системах и других периферийных платформах, где важна быстрая обработка на устройстве.

В этой статье мы рассмотрим, как работает интеграция MNN, выделим распространённые варианты использования и пошагово разберём, как начать выполнять инференс с помощью экспортированной модели Ultralytics YOLO11. Начнём!

Обзор MNN: фреймворк глубокого обучения#

Запуск моделей компьютерного зрения на небольших устройствах, таких как мобильные телефоны, промышленные датчики и портативные системы, не всегда прост. У таких устройств часто ограниченный объём памяти, более медленные процессоры и строгие ограничения по энергопотреблению.

Мобильная нейронная сеть, или MNN, — лёгкий и высокопроизводительный движок инференса, разработанный Alibaba для эффективного запуска моделей ИИ на оборудовании с ограниченными ресурсами при сохранении производительности в реальном времени. MNN поддерживает широкий спектр платформ, включая Android, iOS и Linux, и работает с различными типами оборудования, такими как центральные процессоры (CPUs) и графические процессоры (GPUs).

Рис. 2. Обзор фреймворка MNN (источник).

Интеграция MNN, поддерживаемая Ultralytics, позволяет легко экспортировать модели YOLO11 в формат MNN. Проще говоря, это означает, что модели можно преобразовать из формата YOLO в MNN.

После преобразования их можно развернуть на устройствах, поддерживающих фреймворк MNN, для эффективного инференса на устройстве. Ключевое преимущество формата MNN заключается в том, что он упрощает развертывание Ultralytics YOLO11 в сценариях, где критически важны размер, скорость и эффективность использования ресурсов.

Ключевые возможности бэкенда инференса MNN#

Прежде чем перейти к использованию интеграции MNN, рассмотрим, почему фреймворк MNN отлично подходит для запуска моделей ИИ на реальных устройствах. Он создан для работы с уникальными ограничениями периферийных сред, обеспечивая при этом быстрое и стабильное функционирование.

Интересно, что Alibaba использует MNN внутри компании более чем в 30 приложениях, включая Taobao, Tmall, Youku, DingTalk и Xianyu, в самых разных сценариях: прямые трансляции, короткие видео, поиск изображений и проверки безопасности на устройстве. Он поддерживает крупномасштабное развертывание и выполняет миллионы операций инференса в день в производственных средах.

Вот некоторые ключевые возможности фреймворка MNN:

• Автоматический выбор бэкенда: MNN может автоматически выбирать наиболее подходящий бэкенд выполнения, например CPU или GPU, исходя из оборудования, на котором он работает.
• Многопоточное выполнение: поддерживает многопоточность, позволяя в полной мере использовать многоядерные процессоры для ускорения инференса.
• Поддержка квантования моделей: позволяет значительно уменьшить размер модели с помощью квантования FP16 или INT8, что помогает повысить скорость инференса и снизить объём используемой памяти.
• Лёгкость и быстродействие: MNN отличается очень компактным размером: основная библиотека занимает около 400 КБ на Android и примерно 5 МБ на iOS, что делает её идеальной для мобильных и встроенных устройств.

Как работает интеграция MNN#

Далее пошагово рассмотрим, как экспортировать модели Ultralytics YOLO11 в формат MNN.

Первый шаг — установить пакет Ultralytics для Python, который предоставляет всё необходимое для экспорта моделей YOLO11 в формат MNN. Для этого выполни в терминале или командной строке команду "pip install ultralytics". Если ты используешь Jupyter Notebook или Google Colab, добавь перед командой восклицательный знак.

Если во время установки возникнут проблемы, обратись к руководству по распространённым проблемам, чтобы найти советы по их устранению.

После настройки среды можно загрузить предварительно обученную модель YOLO11, например "yolo11n.pt", и экспортировать её в формат MNN, как показано во фрагменте кода ниже. Если ты обучил собственную модель YOLO11, её можно экспортировать, просто заменив имя файла на путь к своей модели.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="mnn")

После преобразования модели в MNN её можно использовать на различных мобильных и встроенных платформах в зависимости от требований приложения.

Например, предположим, что ты хочешь протестировать экспортированную модель на видео с дорожным движением. В таком случае можно загрузить модель Ultralytics YOLO11 в формате MNN, чтобы непосредственно на устройстве обнаруживать такие объекты, как транспортные средства, пешеходы и дорожные знаки, как показано в примере ниже.

mnn_model = YOLO("yolo11n.mnn")
results = mnn_model("https://videos.pexels.com/video-files/27783817/12223745_1920_1080_24fps.mp4", save=True)

После завершения инференса видео с обнаруженными объектами автоматически сохраняется в папке 'runs/detect/predict'. Кроме того, если ты хочешь выполнять инференс непосредственно с помощью пакета MNN для Python, ознакомься с официальной документацией Ultralytics, где приведены дополнительные сведения и примеры.

Рис. 3. Анализ дорожного движения с помощью модели Ultralytics YOLO11, экспортированной в формат MNN. Изображение автора.

Варианты использования развертывания моделей периферийного ИИ с помощью Ultralytics YOLO11 и MNN#

Развертывание Ultralytics YOLO11 с MNN обеспечивает быстрое и эффективное выполнение задач компьютерного зрения, таких как обнаружение объектов, в средах, где обработка в облаке непрактична или невозможна. Рассмотрим, чем эта интеграция особенно полезна в реальных сценариях.

Мобильный периферийный ИИ для выявления заболеваний растений#

Приложения для выявления заболеваний растений, использующие классификацию изображений, становятся всё популярнее среди садоводов, исследователей и любителей природы. Достаточно одной фотографии, чтобы быстро выявить ранние признаки заболевания, например пятна или изменение цвета листьев. Поскольку такие приложения часто используются на открытом воздухе, где доступ к интернету может быть ограничен или отсутствовать, полагаться на обработку в облаке ненадёжно.

После обучения модель Ultralytics YOLO11 можно экспортировать в формат MNN и запускать непосредственно на мобильных устройствах. Затем модель сможет локально классифицировать виды растений и обнаруживать видимые симптомы заболеваний, не отправляя данные на сервер.

Рис. 4. Пример использования YOLO11 для обнаружения признаков ржавчины (заболевания растения) на листе (источник).

Эффективный инференс на устройстве в производстве#

Точное отслеживание упаковок необходимо на загруженных производственных линиях на предприятиях промышленного производства. Ultralytics YOLO11 можно использовать для отслеживания и подсчёта каждого изделия при его перемещении через ключевые контрольные точки, обновляя количество в реальном времени и отмечая любые несоответствия. Это помогает сократить число пропущенных или неучтённых отправлений и обеспечивает более плавную и надёжную работу.

Рис. 5. Отслеживание и подсчёт упаковок с помощью YOLO11 (источник).

Интеграция MNN может быть особенно полезна в этом контексте. После экспорта модели Ultralytics YOLO11 в формат MNN её можно запускать непосредственно на компактных устройствах с низким энергопотреблением, установленных вдоль конвейера.

Поскольку вся обработка выполняется локально, система обеспечивает мгновенную обратную связь и не требует подключения к интернету. Это гарантирует быстрое и стабильное функционирование на производстве, поддерживая эффективный ход выпуска продукции при сохранении высокой точности и контроля.

Преимущества экспорта Ultralytics YOLO11 в формат модели MNN#

Вот некоторые ключевые преимущества интеграции MNN, предоставляемой Ultralytics:

• Более быстрое время отклика: поскольку инференс выполняется на устройстве, предсказания формируются в реальном времени с минимальной задержкой.
• Повышенная конфиденциальность данных: данные остаются на устройстве, что снижает необходимость отправлять конфиденциальные изображения или видео в облако.
• Открытый исходный код и активная поддержка: MNN поддерживается Alibaba и активным сообществом, отличается надёжностью и регулярно обновляется за счёт улучшений производительности.

Факторы, которые следует учитывать при использовании фреймворка MNN#

Прежде чем выбрать MNN в качестве фреймворка для развертывания, важно также оценить, насколько он соответствует требованиям проекта, целевым платформам развертывания и техническим ограничениям. Вот несколько ключевых факторов, которые следует учитывать:

• Совместимость в долгосрочной перспективе: обновления фреймворка или изменения целевых платформ могут потребовать повторного тестирования или корректировок для стабильной работы.
• Меньше инструментов отладки: по сравнению с более крупными фреймворками MNN располагает более ограниченным набором инструментов для отладки и анализа поведения моделей, что может усложнить поиск и устранение проблем.
• Производительность зависит от оборудования: скорость и эффективность модели будут различаться в зависимости от устройства. Протестируй целевое оборудование, чтобы убедиться, что оно соответствует требованиям по производительности.

Основные выводы#

Поддержка интеграции MNN со стороны Ultralytics упрощает экспорт моделей YOLO11 для использования на мобильных и встроенных устройствах. Это практичный вариант для приложений, которым требуется быстрое и надёжное обнаружение без зависимости от доступа к облаку или постоянного подключения.

Такая конфигурация упрощает развертывание, сохраняя производительность и низкие требования к ресурсам. Независимо от того, создаёшь ли ты системы умного дома, полевые инструменты или компактные промышленные устройства, экспорт Ultralytics YOLO11 в MNN обеспечивает гибкий и эффективный способ выполнять задачи компьютерного зрения непосредственно на периферийных устройствах.

Присоединяйся к нашему растущему сообществу! Изучи наш репозиторий на GitHub, чтобы глубже погрузиться в ИИ. Готов начать свои проекты в области компьютерного зрения? Ознакомься с нашими вариантами лицензирования. Узнай больше об ИИ в здравоохранении и компьютерном зрении в розничной торговле на наших страницах решений!