Нажимая “Принять все файлы cookie”, вы соглашаетесь на сохранение файлов cookie на вашем устройстве с целью улучшения навигации по сайту, анализа использования сайта и помощи в наших маркетинговых усилиях. Подробнее
Настройки cookie
Нажимая “Принять все файлы cookie”, вы соглашаетесь на сохранение файлов cookie на вашем устройстве с целью улучшения навигации по сайту, анализа использования сайта и помощи в наших маркетинговых усилиях. Подробнее
Экспортируйте модели Ultralytics YOLO11 в формат модели NCNN для выполнения эффективных выводов ИИ с низкой задержкой на устройствах с ограниченной мощностью и вычислительными ресурсами.
Решения на основе ИИ становятся все более распространенными, даже в секторах с высокими ставками, таких как ликвидация последствий стихийных бедствий, утилизация отходов и пожаротушение. Поскольку внедрение продолжает расти, модели ИИ развертываются во все более разнообразных средах — не только на серверах или в облаке, но и непосредственно на устройствах, работающих в полевых условиях.
Например, дроны и оборудование с периферийными компонентами, питаемые небольшими процессорами, могут играть решающую роль в зонах бедствий. Оснащенные тепловизионными камерами, эти устройства могут собирать и анализировать данные на месте для обнаружения людей, оказавшихся под завалами. Это стало возможным благодаря компьютерному зрению — разделу искусственного интеллекта, который интерпретирует визуальную информацию из изображений и видео.
Однако развертывание моделей искусственного интеллекта Vision на устройствах, расположенных на периферии, не так просто, как может показаться. Модели ИИ должны быть оптимизированы для эффективной работы на оборудовании с ограниченной вычислительной мощностью и памятью. Именно поэтому такие фреймворки ИИ, как NCNN , крайне важны. Они помогают преобразовывать и оптимизировать модели для работы в реальном времени на маломощных устройствах без ущерба для точности.
В частности, модели Ultralytics YOLO , такие как Ultralytics YOLO11 могут быть легко экспортированы в формат модели NCNN с помощью интеграции NCNN , поддерживаемой Ultralytics. Преобразование YOLO11 в формат модели NCNN позволяет модели работать быстрее, использовать меньше памяти и плавно работать на различных устройствах без потери точности.
В этой статье мы рассмотрим интеграциюNCNN , поддерживаемую Ultralytics , и расскажем, как экспортировать модель YOLO11 в формат модели NCNN . Давайте начнем!
Обзор NCNN: Легкий фреймворк для нейронных сетей
NCNN - это фреймворк для нейросетевых вычислений с открытым исходным кодом, разработанный компанией Tencent. Он был специально разработан для мобильных и пограничных сред, обеспечивая высокопроизводительный вывод при минимальных затратах. Это делает его идеальным для развертывания на устройствах с ограниченными ресурсами, таких как смартфоны, беспилотники и устройства IoT (Интернет вещей).
Фреймворк NCNN завоевал популярность в сообществе ИИ и глубокого обучения благодаря своей эффективности, переносимости и оптимизации для мобильных CPU (центральных процессоров). Он позволяет разработчикам запускать нейросетевые модели на доступных устройствах с ограниченной памятью и вычислительной мощностью. Разработанный как простой и гибкий, NCNN поддерживает широкий спектр моделей компьютерного зрения и работает на различных платформах, включая Android, Linux, iOS и macOS.
Рис. 1. Модели в формате NCNN могут быть развернуты на многих платформах.
Ключевые особенности оптимизации производительности NCNN
Вот некоторые ключевые особенности, которые делают NCNN эффективным и широко используемым механизмом нейросетевого вывода:
Легкая, аппаратно-независимая среда выполнения: Фреймворк NCNN оптимизирован для запуска моделей на стандартных процессорах и не требует специализированного оборудования, такого как GPU (графические процессоры) или NPU (блоки нейронной обработки).
Квантование модели: В приложениях, где важны память и скорость, NCNN поддерживает методы квантования, которые уменьшают размер модели и улучшают время вывода. Это помогает плавно запускать модели ИИ на мобильных и встраиваемых устройствах.
Открытый исходный код и доступность: Будучи фреймворком с открытым исходным кодом, NCNN свободно доступен для использования, модификации и улучшения. Это способствует инновациям и широкому внедрению в различных сферах применения.
Активная разработка и сообщество: NCNN активно поддерживается на GitHub компанией Tencent и растущим сообществом разработчиков, регулярно обновляясь и улучшая совместимость моделей.
Экспорт YOLO11 в формат модели NCNN : Краткое руководство
Теперь, когда мы обсудили, что такое NCNN , давайте подробнее рассмотрим, как экспортировать модели YOLO11 в формат NCNN .
Шаг 1: Установите пакет Ultralytics Python
Прежде чем экспортировать модель, необходимо установить пакетUltralytics Python с помощью программы установки пакетов pip. Это можно сделать, выполнив команду "pip install ultralytics" в терминале или командной строке. Если вы работаете в Jupyter Notebook или Google Colab, добавьте восклицательный знак перед командой, как показано ниже: "!pip install ultralytics".
Пакет Ultralytics предоставляет инструменты для обучения, тестирования, тонкой настройки и экспорта моделей искусственного интеллекта для различных задач компьютерного зрения. Если вы столкнулись с какими-либо проблемами при установке или экспорте модели, официальная документация Ultralytics и руководство по общим проблемам являются отличными ресурсами для устранения неполадок.
Шаг 2: Экспорт Ultralytics YOLO11
После установки пакета Ultralytics вы можете загрузить свою модель YOLO11 и экспортировать ее в формат NCNN . В примере ниже используется предварительно обученная модель ("yolo11n.pt") и экспортируется в формат NCNN , сохраняя результат в папке с именем "/yolo11n_ncnn_model".
from ultralytics import YOLO
model = YOLO("yolo11n.pt")
model.export(format="ncnn")
Экспортированная модель YOLO11 может быть развернута на различных легких устройствах, таких как смартфоны, встраиваемые системы или платформы IoT. Процесс развертывания также очень прост.
Например, рассмотрим фрагмент кода ниже, который показывает, как загрузить экспортированную модель и запустить инференс. Инференс относится к процессу использования обученной модели для прогнозирования на новых, ранее не виденных данных. В этом примере модель тестируется на изображении человека, едущего на велосипеде, полученном из общедоступного URL.
После выполнения кода вы найдете выходное изображение в папке "detect".
Рис. 2. Обнаружение объектов с помощью экспортированной модели YOLO11 в формате NCNN . Изображение автора.
Почему стоит выбрать обнаружение в реальном времени с помощью NCNN
Изучая различные интеграции, поддерживаемые Ultralytics , вы можете заметить, что существует несколько вариантов экспорта. Так когда же вам следует выбрать формат NCNN ?
Формат экспорта NCNN - это надежный выбор, если вам нужно развернуть модели YOLO11 на устройствах с ограниченными ресурсами. Он особенно полезен для приложений реального времени, которые работают непосредственно на устройстве, например, на пограничных устройствах, не требуя подключения к облаку. Это означает, что модель может решать такие задачи, как обнаружение объектов, прямо на месте.
Вот несколько распространенных сценариев, в которых NCNN отлично подходит:
Мобильное развертывание: Формат NCNN оптимизирован для Android и iOS, что позволяет легко интегрировать модели в мобильные приложения для быстрого вывода данных на устройстве с минимальной задержкой.
Встраиваемые системы и устройства IoT: Если вы используете такие устройства, как Raspberry Pi или NVIDIA Jetson, экспорт в NCNN поможет повысить производительность и отзывчивость.
Развертывание на настольных компьютерах и серверах: Хотя NCNN отлично подходит для маломощных устройств, он также поддерживает Linux, Windows и macOS для настольных и серверных сред. Это дает разработчикам гибкие возможности для развертывания.
Рис. 3. Варианты развертывания модели YOLO11 с помощью NCNN. Изображение автора.
Примеры использования развертывания модели YOLO11 с помощью NCNN
Далее мы рассмотрим несколько практических примеров, в которых экспорт моделей YOLO11 в NCNN может принести реальную пользу.
Шлемы Vision AI для пожаротушения
Защитные шлемы, оснащенные камерами и встроенными микрокомпьютерами, могут использоваться в таких областях, как строительство и пожаротушение, для повышения безопасности и осведомленности. Модели искусственного интеллекта в реальном времени, такие как YOLO11, могут быть запущены на этих устройствах для detect различных типов объектов и оборудования. Например, такие шлемы могут помочь пожарным detect людей, препятствия или опасности в условиях плохой видимости.
Однако запуск полноразмерных моделей непосредственно на носимых устройствах может привести к снижению производительности и быстрому разряду батареи. В этом случае использование интеграции NCNN - разумный выбор. Она позволяет делать выводы с низкой задержкой и энергоэффективностью.
Классификация отходов и умные контейнеры
Аналогичным образом, "умные" мусорные контейнеры могут быть интегрированы с камерами и компактными процессорами искусственного интеллекта для идентификации и сортировки материалов по мере их выбрасывания. Модели искусственного интеллекта, такие как YOLO11 , могут быть настроены на detect различных типов отходов, таких как бумага, пластик, резина и т. д.
После идентификации отходов они могут быть автоматически рассортированы по отдельным отсекам в зависимости от возможности их повторного использования. Благодаря использованию краевого искусственного интеллекта и экспортированных моделей YOLO11 в формате NCNN эти контейнеры могут обрабатывать данные локально - без подключения к Интернету. Это позволяет им работать автономно и принимать решения о сортировке в режиме реального времени с минимальной задержкой.
Рис. 4. Обнаружение пластиковых отходов с помощью YOLO11.
Мониторинг крупного рогатого скота с использованием дронов и компьютерного зрения
Иногда сельскохозяйственные районы в отдаленных местах не имеют доступа к стабильному интернет-соединению или даже к стабильному электроснабжению, что ограничивает их возможности запускать AI-приложения онлайн. В таких случаях для решения различных задач можно использовать периферийные устройства и дроны.
Хорошим примером является мониторинг домашнего скота, такого как крупный рогатый скот, овцы и птица. Это можно сделать с помощью моделей ИИ Vision, таких как YOLO11, которые можно использовать для track перемещения животных, detect признаков травм, болезней или ненормального поведения, а также для оповещения фермеров о пропаже животных. Интеграция NCNN также позволяет запускать и обрабатывать эти данные непосредственно на периферийных устройствах, что делает их отличным вариантом для анализа изображений и видео на фермах в удаленных или автономных районах.
Рис. 5. Использование YOLO11 для наблюдения за домашним скотом.
Основные выводы
Экспорт моделей YOLO11 с помощью интеграции NCNN , поддерживаемой Ultralytics , - это простой способ внедрения Vision AI в маломощные среды. Будь то беспилотники в зонах стихийных бедствий, умные контейнеры для сортировки мусора или мониторинг скота на удаленных фермах, YOLO и NCNN обеспечивают быстрые, эффективные и портативные выводы ИИ в реальном времени. Такой подход помогает сделать системы ИИ более доступными и надежными, когда это наиболее важно.
.webp)