Ultralytics YOLO11 на NVIDIA Jetson Orin Nano Super: быстро и эффективно

Абирами Вина

4 мин. чтения

9 января 2025 г.

Узнайте, как развертывание Ultralytics YOLO11 на NVIDIA Jetson Orin Nano Super обеспечивает впечатляющие бенчмарки и производительность с GPU-ускорением для передовых приложений ИИ.

NVIDIA Jetson Orin Nano Super Developer Kit, представленный 17 декабря 2024 года, - это компактный, но мощный суперкомпьютер с генеративным ИИ, созданный для передовых возможностей пограничных вычислений. Он обеспечивает обработку данных в реальном времени и устраняет необходимость в облачных вычислениях. NVIDIA Jetson Orin Nano Super позволяет разработчикам создавать доступные интеллектуальные системы, которые эффективно работают в локальных средах.

В паре с моделями Ultralytics YOLO, такими как Ultralytics YOLO11, Jetson Orin Nano Super может справиться с широким спектром приложений искусственного зрения на грани. В частности, YOLO11 - это модель компьютерного зрения, известная своей скоростью и точностью в таких задачах, как обнаружение объектов, отслеживание объектов и сегментация объектов. 

Сочетание возможностей YOLO11 с мощным GPU (графическим процессором) и поддержкой таких фреймворков, как PyTorch, ONNX и NVIDIA TensorRT, обеспечивает высокопроизводительное развертывание. Такое сочетание предоставляет разработчикам эффективное решение для создания приложений ИИ, от обнаружения объектов в робототехнике до отслеживания объектов в реальном времени в интеллектуальных пространствах и системах розничной торговли.

В этой статье мы рассмотрим суперкомплект разработчика NVIDIA Jetson Orin Nano, его работу с Ultralytics YOLO11 для краевого ИИ, бенчмарки производительности, реальные приложения и то, как он может помочь разработчикам в создании проектов Vision AI. Давайте начнем!

Что такое NVIDIA Jetson Orin Nano Super Developer Kit?

NVIDIA Jetson Orin Nano Super Developer Kit - это компактный, но мощный компьютер, который переосмысливает генеративный ИИ для небольших устройств. Он обеспечивает до 67 TOPS (триллионов операций в секунду) производительности ИИ, что делает его идеальным для разработчиков, студентов и любителей, работающих над продвинутыми проектами ИИ.

__wf_reserved_inherit

Вот некоторые из его ключевых особенностей:

  • Производительность GPU: Устройство построено на базе графического процессора NVIDIA с архитектурой Ampere, который включает 1024 ядра CUDA и 32 ядра Tensor. Ядра CUDA обрабатывают множество задач одновременно, ускоряя сложные вычисления, а ядра Tensor специализируются на задачах ИИ, таких как глубокое обучение.
  • Мощный процессор: Он оснащен 6-ядерным процессором Arm Cortex-A78AE, разработанным с учетом баланса скорости и эффективности. Устройство способно плавно справляться с множеством задач, сохраняя при этом низкий уровень энергопотребления. Это важно для систем, работающих локально, без доступа к большим источникам питания.
  • Эффективная память: В комплект входит 8 ГБ памяти LPDDR5 (Low Power Double Data Rate 5). LPDDR5 - это тип оперативной памяти (Random Access Memory), оптимизированный для скорости и энергоэффективности, позволяющий устройству обрабатывать большие массивы данных и производить обработку в реальном времени без чрезмерного потребления энергии.
  • Возможности подключения: В комплект входят порты USB 3.2 для быстрой передачи данных, порт Gigabit Ethernet для надежного сетевого соединения, а также интерфейсы для подключения датчиков или камер.
  • Инструменты для разработки ИИ: Jetson Orin Nano Super работает с NVIDIA JetPack SDK, который предоставляет такие инструменты, как CUDA для более быстрых вычислений и TensorRT для оптимизации моделей ИИ. Эти инструменты облегчают разработчикам быстрое и эффективное создание и развертывание приложений ИИ.

Бенчмарки производительности: Jetson Orin Nano Super против Orin NX 16GB

Если вы знакомы с работой NVIDIA, вам может быть интересно, как новая версия сравнится с существующей моделью NVIDIA Jetson Orin NX 16GB (без суперрежима). Хотя Jetson Orin NX предлагает более высокие общие возможности, Jetson Orin Nano Super Developer Kit обеспечивает впечатляющую производительность за меньшую цену.

 

__wf_reserved_inherit
Рис. 2. Взгляд на экосистему NVIDIA Jetson Orin.

Вот краткий обзор:

  • Производительность искусственного интеллекта: Jetson Orin Nano Super обеспечивает до 67 TOPS, что отлично подходит для большинства краевых задач ИИ, а Jetson Orin NX предлагает до 100 TOPS для более требовательных приложений.
  • Память: Jetson Orin Nano Super оснащен 8 ГБ LPDDR5, что достаточно для задач реального времени, в то время как Orin NX удваивает этот объем до 16 ГБ для больших рабочих нагрузок.
  • Энергоэффективность: Jetson Orin Nano Super более энергоэффективен и настраивается в диапазоне от 7 до 25 Вт, в отличие от более требовательного к мощности Jetson Orin NX.
  • GPU: Оба устройства используют архитектуру NVIDIA Ampere с 1024 ядрами CUDA и 32 ядрами Tensor для высокой производительности GPU.

YOLO11 с Jetson Orin Nano Super: ИИ для зрения на грани

Теперь, когда мы лучше понимаем, что такое Jetson Orin Nano Super, давайте посмотрим, как YOLO11 может помочь расширить возможности Vision AI. Модели Ultralytics YOLO, включая YOLO11, оснащены такими универсальными режимами, как обучение, прогнозирование и экспорт, что позволяет адаптировать их к различным рабочим процессам ИИ. 

Например, в режиме обучения модели Ultralytics YOLO могут быть точно настроены и обучены на пользовательских наборах данных для конкретных приложений, таких как обнаружение уникальных объектов или оптимизация для конкретных условий. Аналогичным образом, режим прогнозирования предназначен для выводов, позволяющих решать задачи компьютерного зрения в режиме реального времени. Наконец, режим экспорта позволяет конвертировать модели в форматы, оптимизированные для развертывания.

__wf_reserved_inherit
Рис. 3. Модели Ultralytics YOLO поддерживают различные функции и режимы.

YOLO11 в режиме экспорта поддерживает ряд вариантов развертывания моделей, в том числе:

  • NVIDIA TensorRT: этот формат оптимизирован для графических процессоров NVIDIA, обеспечивая высокую производительность и низкую задержку вычислений на Jetson Orin Nano Super.
  • ONNX (Open Neural Network Exchange): Обеспечивает совместимость с различными платформами, что делает его универсальным для различных аппаратных и программных экосистем.
  • TorchScript: Этот формат идеально подходит для приложений на основе PyTorch, помогая легко интегрироваться в рабочие процессы PyTorch.
  • TFLite (TensorFlow Lite): Формат, разработанный для легкого развертывания ИИ, что делает его идеальным для мобильных и встраиваемых систем.

Используя эти форматы развертывания, разработчики могут использовать все преимущества аппаратного обеспечения Jetson Orin Nano Super для запуска YOLO11 в приложениях реального времени, таких как "умные" помещения, робототехника и автоматизация розничной торговли. 

Бенчмаркинг YOLO11 на NVIDIA Jetson Orin Nano Super

Далее, чтобы лучше понять, насколько быстро YOLO11 может работать на NVIDIA Jetson Orin Nano Super, давайте изучим его впечатляющую производительность и бенчмарки с использованием GPU-ускоренных форматов экспорта, таких как PyTorch, ONNX и TensorRT. Эти тесты показывают, что Jetson Orin Nano Super достигает времени вычислений с моделями YOLO11, сравнимого с существующим Jetson Orin NX 16GB (без суперрежима), а иногда и превосходящего его.

__wf_reserved_inherit
Рис. 4. Бенчмаркинг YOLO11 на NVIDIA Jetson Orin Nano Super.

Еще более примечательным фактором является доступность Jetson Orin Nano Super. Предлагая такую производительность менее чем за половину цены Jetson Orin NX 16GB, он представляет собой исключительную ценность для разработчиков, создающих высокопроизводительные приложения YOLO11. Такое сочетание цены и производительности делает Jetson Orin Nano Super отличным выбором для задач ИИ в реальном времени на границе.

__wf_reserved_inherit
Рис. 5. Бенчмарк YOLO11 на Jetson Orin NX 16GB.

Получите в руки YOLO11 и NVIDIA Jetson Orin Nano Super

Если вам не терпится приступить к установке YOLO11 на Jetson Orin Nano Super, есть хорошие новости - это очень простой процесс. После прошивки устройства с помощью NVIDIA JetPack SDK вы можете использовать готовый образ Docker для быстрой установки или вручную установить необходимые пакеты. 

Для тех, кто ищет более быструю и беспроблемную интеграцию, идеальным решением станет обновленный докер-контейнер JetPack 6. Контейнер Docker - это легкая переносимая среда, включающая все необходимые инструменты и зависимости для запуска определенного программного обеспечения. 

Контейнер Ultralytics, оптимизированный для JetPack 6.1, поставляется с предустановленными CUDA 12.6, TensorRT 10.3 и такими необходимыми инструментами, как PyTorch и TorchVision, адаптированными для архитектуры ARM64 Jetson. Используя этот контейнер, разработчики могут сэкономить время на настройке и сосредоточиться на создании и оптимизации своих приложений Vision AI с помощью YOLO11.

Применение YOLO11 на NVIDIA Jetson Orin Nano Super

Для тех, кто ищет вдохновение для своего следующего проекта в области искусственного интеллекта, следует отметить, что потенциал для применения компьютерного зрения на основе граней есть повсюду вокруг нас. 

В повседневной жизни краевой ИИ меняет представление об интеллектуальных пространствах, позволяя системам обнаруживать и отслеживать объекты в режиме реального времени, не прибегая к облачной обработке данных. Будь то мониторинг дорожного движения в шумном городе или выявление необычной активности в общественных местах, краевой ИИ Vision повышает безопасность и эффективность.

Ритейлеры также используют возможности искусственного интеллекта и компьютерного зрения. Такие модели, как YOLO11, позволяют компаниям внедрять решения в режиме реального времени непосредственно в магазинах - от автоматической проверки запасов до предотвращения краж

Аналогичным образом, когда речь идет об искусственном интеллекте в здравоохранении, мониторинг на границе обеспечивает безопасность пациентов, выявляет аномалии и поддерживает соответствие нормам - и все это без задержек, вызванных зависимостью от облака. Благодаря таким инструментам, как Jetson Orin Nano Super и YOLO11, будущее искусственного интеллекта в сфере здравоохранения наступает именно там, где он больше всего нужен.

Основные выводы

Развертывание моделей Ultralytics YOLO, таких как YOLO11, на NVIDIA Jetson Orin Nano Super Developer Kit предлагает надежное и эффективное решение для приложений искусственного интеллекта на границе. Благодаря высокой производительности GPU, бесшовной поддержке PyTorch, ONNX и TensorRT и впечатляющим бенчмаркам, он хорошо подходит для задач компьютерного зрения в реальном времени, таких как обнаружение и отслеживание объектов. 

Инновации и сотрудничество в области передовых технологий, таких как Vision AI и аппаратное ускорение, меняют наши методы работы, позволяя разработчикам создавать масштабируемые и высокопроизводительные решения на границе. По мере развития ИИ такие инструменты, как YOLO11 и Jetson Orin Nano Super, позволяют воплощать в жизнь интеллектуальные решения, работающие в режиме реального времени, как никогда раньше.

Вам интересно узнать об искусственном интеллекте? Посетите наш репозиторий GitHub, чтобы ознакомиться с нашими разработками и пообщаться с нашим сообществом. Узнайте, как мы используем ИИ для оказания влияния на такие отрасли, как сельское хозяйство и здравоохранение.

Давайте вместе построим будущее
искусственного интеллекта!

Начните свое путешествие в будущее машинного обучения

Начните бесплатно
Ссылка копируется в буфер обмена