Ultralytics YOLO11 на NVIDIA Jetson Orin Nano Super: быстро и эффективно

NVIDIA Jetson Orin Nano Super Developer Kit, представленный 17 декабря 2024 года, - это компактный, но мощный суперкомпьютер с генеративным ИИ, созданный для передовых возможностей вычислений на границе. Он обеспечивает обработку данных в реальном времени и устраняет необходимость в облачных вычислениях. NVIDIA Jetson Orin Nano Super позволяет разработчикам создавать доступные интеллектуальные системы, которые эффективно работают в локальных средах.

В паре с моделямиUltralytics YOLO , такими как Ultralytics YOLO11Jetson Orin Nano Super может справиться с широким спектром приложений искусственного интеллекта на грани. В частности, YOLO11 - это модель компьютерного зрения, известная своей скоростью и точностью в таких задачах, как обнаружение объектов, отслеживание объектов и сегментация объектов. 

Сочетание возможностей YOLO11с мощным GPU (графическим процессором) и поддержкой таких фреймворков, как PyTorch, ONNX и NVIDIA TensorRT , обеспечивает высокопроизводительное развертывание. Такое сочетание предоставляет разработчикам эффективное решение для создания приложений ИИ, от обнаружения объектов в робототехнике до отслеживания объектов в реальном времени в интеллектуальных пространствах и системах розничной торговли.

В этой статье мы рассмотрим суперкомплект разработчика NVIDIA Jetson Orin Nano, его работу с Ultralytics YOLO11 для краевого ИИ, бенчмарки производительности, реальные приложения и то, как он может помочь разработчикам в создании проектов Vision AI. Давайте начнем!

Что такое NVIDIA Jetson Orin Nano Super Developer Kit?

NVIDIA Jetson Orin Nano Super Developer Kit - это компактный, но мощный компьютер, который переосмысливает генеративный ИИ для небольших устройств. Он обеспечивает до 67 TOPS (триллионов операций в секунду) производительности ИИ, что делает его идеальным для разработчиков, студентов и любителей, работающих над продвинутыми проектами ИИ.

‍

Вот некоторые из его ключевых особенностей:

• ПроизводительностьGPU : Устройство построено на базе GPU NVIDIA с архитектурой Ampere, который включает 1024 ядра CUDA и 32 ядра Tensor . Ядра CUDA обрабатывают множество задач одновременно, ускоряя сложные вычисления, а ядра Tensor специализируются на задачах ИИ, таких как глубокое обучение.
  ‍
• Мощный CPU: Он оснащен 6-ядерным процессором Arm Cortex-A78AE, разработанным с учетом баланса скорости и эффективности. Устройство способно плавно справляться с множеством задач, сохраняя при этом низкий уровень энергопотребления. Это важно для систем, работающих локально, без доступа к большим источникам питания.
  ‍
• Эффективная память: Комплект поставляется с 8 ГБ памяти LPDDR5 (Low Power Double Data Rate 5). LPDDR5 — это тип ОЗУ (оперативной памяти), оптимизированный для скорости и энергоэффективности, что позволяет устройству обрабатывать большие наборы данных и выполнять обработку в реальном времени, не потребляя при этом избыточную мощность.
  ‍
• Возможности подключения: Он включает порты USB 3.2 для быстрой передачи данных, порт Gigabit Ethernet для надежного сетевого соединения и интерфейсы камеры для интеграции датчиков или камер. 
  ‍
• Инструменты для разработки ИИ: Jetson Orin Nano Super работает с NVIDIA JetPack SDK, который предоставляет такие инструменты, как CUDA для более быстрых вычислений и TensorRT для оптимизации моделей ИИ. Эти инструменты облегчают разработчикам быстрое и эффективное создание и развертывание приложений ИИ.

Тесты производительности: Jetson Orin Nano Super против Orin NX 16GB

Если вы знакомы с работой NVIDIA, вам может быть интересно, как новая версия сравнится с существующей моделью NVIDIA Jetson Orin NX 16GB (без суперрежима). Хотя Jetson Orin NX предлагает более высокие общие возможности, Jetson Orin Nano Super Developer Kit обеспечивает впечатляющую производительность за меньшую цену.

‍

Вот краткий обзор:

• Производительность ИИ: Jetson Orin Nano Super обеспечивает до 67 TOPS, что отлично подходит для большинства периферийных задач ИИ, в то время как Jetson Orin NX предлагает до 100 TOPS для более требовательных приложений.
  ‍
• Память: Jetson Orin Nano Super включает 8 ГБ LPDDR5, чего достаточно для задач в реальном времени, в то время как Orin NX удваивает ее до 16 ГБ для больших рабочих нагрузок.
  ‍
• Энергоэффективность: Jetson Orin Nano Super более энергоэффективен и настраивается в диапазоне от 7 Вт до 25 Вт, по сравнению с более высокими требованиями к мощности Jetson Orin NX.
  ‍
• GPU: Оба устройства используют архитектуру NVIDIA Ampere с 1024 ядрами CUDA и 32 ядрами Tensor для высокой производительности GPU .

YOLO11 с Jetson Orin Nano Super: ИИ для зрения на грани

Теперь, когда мы лучше понимаем, что такое Jetson Orin Nano Super, давайте посмотрим, как YOLO11 может помочь расширить возможности Vision AI. Модели Ultralytics YOLO , включая YOLO11, оснащены такими универсальными режимами, как обучение, прогнозирование и экспорт, что позволяет адаптировать их к различным рабочим процессам ИИ. 

Например, в режиме обучения модели Ultralytics YOLO могут быть точно настроены и обучены на пользовательских наборах данных для конкретных приложений, таких как обнаружение уникальных объектов или оптимизация для конкретных условий. Аналогичным образом, режим прогнозирования предназначен для выводов, позволяющих решать задачи компьютерного зрения в режиме реального времени. Наконец, режим экспорта позволяет конвертировать модели в форматы, оптимизированные для развертывания.

‍

YOLO11 в режиме экспорта поддерживает ряд вариантов развертывания моделей, в том числе:

• NVIDIA TensorRT: Этот формат оптимизирован для графических процессоров NVIDIA , обеспечивая высокую производительность и низкую задержку при вычислениях на Jetson Orin Nano Super.
  ‍
• ONNX (Open Neural Network Exchange): Обеспечивает совместимость с различными платформами, что делает его универсальным для различных аппаратных и программных экосистем.
  ‍
• TorchScript: Этот формат идеально подходит для приложений PyTorch, помогая легко интегрироваться в рабочие процессы PyTorch .
  ‍
• TFLite TensorFlow Lite): Формат, разработанный для легкого развертывания ИИ, что делает его идеальным для мобильных и встраиваемых систем.

Используя эти форматы развертывания, разработчики могут использовать все преимущества аппаратного обеспечения Jetson Orin Nano Super для запуска YOLO11 в приложениях реального времени, таких как "умные" помещения, робототехника и автоматизация розничной торговли. 

Бенчмаркинг YOLO11 на NVIDIA Jetson Orin Nano Super

Далее, чтобы лучше понять, насколько быстро YOLO11 может работать на NVIDIA Jetson Orin Nano Super, давайте изучим его впечатляющую производительность и бенчмарки с использованием GPU форматов экспорта, таких как PyTorch, ONNX и TensorRT. Эти тесты показывают, что Jetson Orin Nano Super достигает времени вычислений с моделями YOLO11 , сравнимого с существующим Jetson Orin NX 16GB (без суперрежима), а иногда и превосходящего его.

‍

Еще более примечательным фактором является доступность Jetson Orin Nano Super. Предлагая такую производительность менее чем за половину цены Jetson Orin NX 16GB, он представляет собой исключительную ценность для разработчиков, создающих высокопроизводительные приложения YOLO11 . Такое сочетание цены и производительности делает Jetson Orin Nano Super отличным выбором для задач ИИ в реальном времени на границе.

‍

Получите в руки YOLO11 и NVIDIA Jetson Orin Nano Super

Если вам не терпится приступить к установке YOLO11 на Jetson Orin Nano Super, есть хорошие новости - это очень простой процесс. После прошивки устройства с помощью NVIDIA JetPack SDK вы можете использовать готовый образ Docker для быстрой установки или вручную установить необходимые пакеты. 

Для тех, кто ищет более быструю и простую интеграцию, обновленный Docker-контейнер JetPack 6 является идеальным решением. Docker-контейнер — это легкая, переносимая среда, которая включает в себя все необходимые инструменты и зависимости для запуска определенного программного обеспечения. 

Контейнер Ultralytics , оптимизированный для JetPack 6.1, поставляется с предустановленными CUDA 12.6, TensorRT 10.3 и такими необходимыми инструментами, как PyTorch и TorchVision, адаптированными для архитектуры ARM64 Jetson. Используя этот контейнер, разработчики могут сэкономить время на настройке и сосредоточиться на создании и оптимизации своих приложений Vision AI с помощью YOLO11.

Применение YOLO11 на NVIDIA Jetson Orin Nano Super

Для тех, кто ищет вдохновение для своего следующего AI-проекта, существует потенциал для периферийных приложений компьютерного зрения вокруг нас. 

В повседневной жизни краевой ИИ меняет представление об интеллектуальных пространствах, позволяя системам detect и track объекты в режиме реального времени, не прибегая к облачной обработке данных. Будь то мониторинг дорожного движения в шумном городе или выявление необычной активности в общественных местах, краевой ИИ Vision повышает безопасность и эффективность.

Ритейлеры также используют возможности искусственного интеллекта и компьютерного зрения. Такие модели, как YOLO11 , позволяют компаниям внедрять решения в режиме реального времени непосредственно в магазинах - от автоматической проверки запасов до предотвращения краж. 

Аналогичным образом, когда речь идет об искусственном интеллекте в здравоохранении, мониторинг на границе обеспечивает безопасность пациентов, выявляет аномалии и поддерживает соответствие нормам - и все это без задержек, вызванных зависимостью от облака. Благодаря таким инструментам, как Jetson Orin Nano Super и YOLO11, будущее искусственного интеллекта в сфере здравоохранения наступает именно там, где он больше всего нужен.

Основные выводы

Развертывание моделей Ultralytics YOLO , таких как YOLO11 , на NVIDIA Jetson Orin Nano Super Developer Kit предлагает надежное и эффективное решение для приложений искусственного интеллекта на границе. Благодаря высокой производительности GPU , бесшовной поддержке PyTorch, ONNX и TensorRT и впечатляющим бенчмаркам, он хорошо подходит для задач компьютерного зрения в реальном времени, таких как обнаружение и отслеживание объектов. 

Инновации и сотрудничество в области передовых технологий, таких как Vision AI и аппаратное ускорение, меняют наши методы работы, позволяя разработчикам создавать масштабируемые и высокопроизводительные решения на границе. По мере развития ИИ такие инструменты, как YOLO11 и Jetson Orin Nano Super, позволяют воплощать в жизнь интеллектуальные решения, работающие в режиме реального времени, как никогда раньше.

Интересуетесь AI? Посетите наш репозиторий GitHub, чтобы изучить наши разработки и взаимодействовать с нашим сообществом. Узнайте, как мы используем AI, чтобы оказать влияние на такие отрасли, как сельское хозяйство и здравоохранение.