Экспорт моделей Ultralytics YOLO11 в формат модели NCNN

Решения на основе ИИ становятся все более распространенными, даже в секторах с высокими ставками, таких как ликвидация последствий стихийных бедствий, утилизация отходов и пожаротушение. Поскольку внедрение продолжает расти, модели ИИ развертываются во все более разнообразных средах — не только на серверах или в облаке, но и непосредственно на устройствах, работающих в полевых условиях.

Например, дроны и оборудование с периферийными компонентами, питаемые небольшими процессорами, могут играть решающую роль в зонах бедствий. Оснащенные тепловизионными камерами, эти устройства могут собирать и анализировать данные на месте для обнаружения людей, оказавшихся под завалами. Это стало возможным благодаря компьютерному зрению — разделу искусственного интеллекта, который интерпретирует визуальную информацию из изображений и видео.

Однако развертывание моделей Vision AI на периферийных устройствах не так просто, как может показаться. Модели AI необходимо оптимизировать для эффективной работы на оборудовании с ограниченной вычислительной мощностью и памятью. Вот почему такие AI-фреймворки, как NCNN, необходимы. Они помогают преобразовывать и оптимизировать модели для работы в реальном времени на маломощных устройствах без ущерба для точности.

В частности, модели Ultralytics YOLO, такие как Ultralytics YOLO11, можно легко экспортировать в формат модели NCNN с помощью интеграции NCNN, поддерживаемой Ultralytics. Преобразование YOLO11 в формат модели NCNN позволяет модели работать быстрее, использовать меньше памяти и плавно работать на различных устройствах без потери точности.

В этой статье мы рассмотрим интеграцию NCNN, поддерживаемую Ultralytics, и рассмотрим, как можно экспортировать модель YOLO11 в формат модели NCNN. Начнем!

Обзор NCNN: легковесного фреймворка нейронных сетей

NCNN — это платформа для логического вывода нейронных сетей с открытым исходным кодом, разработанная Tencent. Она была специально разработана для мобильных и периферийных сред, обеспечивая высокопроизводительный логический вывод с минимальным объемом занимаемой памяти. Это делает ее идеальной для развертывания на устройствах с ограниченными ресурсами, таких как смартфоны, дроны и устройства IoT (Интернет вещей).

Фреймворк NCNN приобрел популярность в сообществе AI и глубокого обучения благодаря своей эффективности, переносимости и оптимизации для мобильных ЦП (центральных процессоров). Он позволяет разработчикам запускать модели нейронных сетей на доступных устройствах с ограниченной памятью и вычислительной мощностью. Разработанный как простой и гибкий, NCNN поддерживает широкий спектр моделей компьютерного зрения и работает на различных платформах, включая Android, Linux, iOS и macOS.

‍

Ключевые особенности оптимизации производительности NCNN

Вот некоторые из ключевых особенностей, которые делают NCNN эффективным и широко используемым фреймворком для логического вывода нейронных сетей:

• Легкая, аппаратно-независимая среда выполнения: Фреймворк NCNN оптимизирован для запуска моделей на стандартных процессорах и не требует специализированного оборудования, такого как графические процессоры (GPU) или нейронные процессоры (NPU).
  ‍
• Квантование модели: Для приложений, где память и скорость имеют решающее значение, NCNN поддерживает методы квантования, которые уменьшают размер модели и улучшают время инференса. Это помогает плавно запускать модели ИИ на мобильных и встроенных устройствах.

• Открытый исходный код и доступность: Являясь фреймворком с открытым исходным кодом, NCNN находится в свободном доступе для использования, изменения и улучшения. Это стимулирует инновации и широкое распространение в различных вариантах использования.
  ‍
• Активная разработка и сообщество: NCNN активно поддерживается на GitHub компанией Tencent и растущим сообществом разработчиков, с регулярными обновлениями и улучшениями совместимости моделей.

Экспорт YOLOv8 в формат модели NCNN: краткое руководство

Теперь, когда мы обсудили, что такое NCNN, давайте подробнее рассмотрим, как экспортировать модели YOLO11 в формат NCNN.

Шаг 1. Установите Python-пакет Ultralytics

Перед экспортом модели первым шагом является установка пакета Ultralytics Python с помощью установщика пакетов pip. Это можно сделать, запустив "pip install ultralytics" в вашем терминале или командной строке. Если вы работаете в Jupyter Notebook или Google Colab, добавьте восклицательный знак перед командой, например: "!pip install ultralytics".

Пакет Ultralytics предоставляет инструменты для обучения, тестирования, точной настройки и экспорта моделей Vision AI для различных задач компьютерного зрения. Если у вас возникнут какие-либо проблемы во время установки или экспорта модели, официальная документация Ultralytics и руководство по распространенным проблемам — отличные ресурсы для устранения неполадок.

Шаг 2: Экспорт Ultralytics YOLO11

После установки пакета Ultralytics вы можете загрузить свою модель YOLO11 и экспортировать ее в формат NCNN. В приведенном ниже примере используется предварительно обученная модель («yolo11n.pt») и экспортируется в формате NCNN, сохраняя выходные данные в папке с именем «/yolo11n_ncnn_model». 

from ultralytics import YOLO

model = YOLO("yolo11n.pt")

model.export(format="ncnn")  

Экспортированная модель YOLO11 может быть развернута на различных легких устройствах, таких как смартфоны, встроенные системы или платформы IoT. Процесс развертывания также очень оптимизирован. 

Например, рассмотрим фрагмент кода ниже, который показывает, как загрузить экспортированную модель и запустить инференс. Инференс относится к процессу использования обученной модели для прогнозирования на новых, ранее не виденных данных. В этом примере модель тестируется на изображении человека, едущего на велосипеде, полученном из общедоступного URL.

ncnn_model = YOLO("./yolo11n_ncnn_model")

results = ncnn_model("https://images.pexels.com/photos/19431209/pexels-photo-19431209/free-photo-of-a-man-riding-a-bike-on-a-road.jpeg?auto=compress&cs=tinysrgb&w=1260&h=750&dpr=2.jpg", save=True)

После запуска кода вы найдете выходное изображение в папке «runs/detect/predict».

‍

Почему стоит выбрать обнаружение в реальном времени с помощью NCNN

Когда вы изучаете различные интеграции, которые поддерживает Ultralytics, вы можете заметить, что доступно несколько вариантов экспорта. Итак, когда следует выбирать формат NCNN?

Формат экспорта NCNN — надежный выбор, когда вам нужно развернуть модели YOLO11 на устройствах с ограниченными ресурсами. Он особенно полезен для приложений реального времени, которые работают непосредственно на устройстве, например, на периферийных устройствах, без необходимости подключения к облаку. Это означает, что модель может выполнять такие задачи, как обнаружение объектов, прямо на месте.

Вот несколько распространенных сценариев, в которых NCNN отлично подходит:

• Развертывание на мобильных устройствах: Формат NCNN оптимизирован для Android и iOS, что упрощает интеграцию моделей в мобильные приложения для быстрого логического вывода на устройстве с минимальной задержкой.

• Встроенные системы и устройства IoT: Если вы выполняете развертывание на таких устройствах, как Raspberry Pi или NVIDIA Jetson, экспорт в NCNN может помочь повысить производительность и скорость реагирования.

• Развертывание на настольных компьютерах и серверах: Хотя NCNN отлично подходит для устройств с низким энергопотреблением, он также поддерживает Linux, Windows и macOS для настольных и серверных сред. Это дает разработчикам гибкие возможности для развертывания.

‍

Примеры использования развертывания модели YOLO11 с NCNN

Далее, давайте углубимся в некоторые практические примеры использования, в которых экспорт моделей YOLO11 в NCNN может реально изменить ситуацию.

Шлемы Vision AI для пожаротушения

Защитные шлемы, оснащенные камерами и встроенными микрокомпьютерами, могут использоваться в таких областях, как строительство и пожаротушение, для повышения безопасности и осведомленности. Модели Vision AI в реальном времени, такие как YOLO11, могут быть запущены на этих устройствах для обнаружения различных типов объектов и оборудования. Например, такие шлемы могут помочь пожарным обнаруживать людей, препятствия или опасности в условиях плохой видимости.

Однако запуск полноразмерных моделей непосредственно на носимых устройствах может привести к снижению производительности и быстрой разрядке аккумулятора. В этом случае использование интеграции NCNN — разумный выбор. Это обеспечивает низкую задержку и энергоэффективный вывод. 

Классификация отходов и умные контейнеры

Аналогично, умные мусорные баки могут быть интегрированы с камерами и компактными периферийными AI-процессорами для идентификации и сортировки материалов по мере их выброса. Модели Vision AI, такие как YOLO11, могут быть специально обучены для обнаружения различных типов отходов, таких как бумага, пластик, резина и т. д.

После идентификации отходов их можно автоматически сортировать по отдельным отсекам в зависимости от возможности повторного использования. Используя edge AI вместе с экспортированными моделями YOLO11 в формате NCNN, эти контейнеры могут обрабатывать данные локально - без необходимости подключения к Интернету. Это позволяет им работать автономно и принимать решения о сортировке в режиме реального времени с минимальной задержкой.

‍

Мониторинг крупного рогатого скота с использованием дронов и компьютерного зрения

Иногда сельскохозяйственные районы в отдаленных местах не имеют доступа к стабильному интернет-соединению или даже к стабильному электроснабжению, что ограничивает их возможности запускать AI-приложения онлайн. В таких случаях для решения различных задач можно использовать периферийные устройства и дроны. 

Хорошим примером является мониторинг домашнего скота, такого как крупный рогатый скот, овцы и птица. Это можно сделать с помощью моделей Vision AI, таких как YOLO11, которые можно использовать для отслеживания передвижения животных, обнаружения признаков травм, болезней или ненормального поведения и оповещения фермеров, когда животные пропадают. Интеграция NCNN также позволяет запускать и обрабатывать эти данные непосредственно на периферийных устройствах, что делает ее отличным решением для анализа изображений и видео на фермах в отдаленных или автономных районах.

‍

Основные выводы

Экспорт моделей YOLOv8 с использованием интеграции NCNN, поддерживаемой Ultralytics, — это простой способ внедрить Vision AI в среды с низким энергопотреблением. Будь то дроны в зонах бедствий, интеллектуальные контейнеры для сортировки отходов или мониторинг домашнего скота на удаленных фермах, YOLO и NCNN обеспечивают вывод AI в реальном времени, который является быстрым, эффективным и портативным. Этот подход помогает сделать системы AI более доступными и надежными, когда это наиболее важно.

Хотите узнать больше об ИИ? Изучите наш репозиторий GitHub, свяжитесь с нашим сообществом и ознакомьтесь с нашими вариантами лицензирования, чтобы ускорить ваш проект в области компьютерного зрения. Узнайте, как инновации, такие как ИИ в розничной торговле и компьютерное зрение в здравоохранении, формируют будущее на страницах с нашими решениями.