Ultralytics YOLO11 на NVIDIA Jetson Orin Nano Super: быстро и эффективно

Компактный, но мощный комплект разработчика NVIDIA Jetson Orin Nano Super, представленный 17 декабря 2024 года, — это суперкомпьютер для генеративного ИИ, созданный для внедрения передовых возможностей в периферийные вычисления. Он обеспечивает обработку данных в реальном времени и снижает потребность в облачных вычислениях. NVIDIA Jetson Orin Nano Super позволяет разработчикам создавать доступные интеллектуальные системы, эффективно работающие в локальной среде.

В сочетании с моделями Ultralytics YOLO, например Ultralytics YOLO11, Jetson Orin Nano Super может поддерживать широкий спектр приложений визуального ИИ непосредственно на периферийных устройствах. В частности, YOLO11 — модель компьютерного зрения, известная скоростью и точностью в таких задачах, как обнаружение объектов, отслеживание объектов и сегментация экземпляров.

Возможности Ultralytics YOLO11 в сочетании с мощным GPU (графическим процессором) комплекта и поддержкой таких фреймворков, как PyTorch, ONNX и NVIDIA TensorRT, позволяют развёртывать высокопроизводительные решения. Такое сочетание даёт разработчикам эффективную основу для создания приложений ИИ — от обнаружения объектов в робототехнике до отслеживания объектов в реальном времени в интеллектуальных пространствах и розничных системах.

В этой статье мы рассмотрим комплект разработчика NVIDIA Jetson Orin Nano Super, его работу с Ultralytics YOLO11 для периферийного ИИ, результаты тестирования производительности, практические сценарии применения и то, как он помогает разработчикам создавать проекты в области ИИ для компьютерного зрения.

Что такое комплект разработчика NVIDIA Jetson Orin Nano Super?#

Комплект разработчика NVIDIA Jetson Orin Nano Super — это компактный, но мощный компьютер, который позволяет запускать генеративный ИИ на небольших периферийных устройствах. Он обеспечивает производительность ИИ до 67 TOPS (триллионов операций в секунду), поэтому отлично подходит разработчикам, студентам и энтузиастам, работающим над передовыми проектами в области ИИ.

Вот несколько его ключевых особенностей:

• Производительность GPU: устройство построено на архитектуре NVIDIA Ampere и оснащено GPU с 1 024 ядрами CUDA и 32 ядрами Tensor. Ядра CUDA одновременно обрабатывают множество задач, ускоряя сложные вычисления, а ядра Tensor специализированы для задач ИИ, например глубокого обучения.
• Мощный CPU: устройство оснащено 6-ядерным процессором Arm Cortex-A78AE, который сочетает скорость и энергоэффективность. Он плавно справляется с несколькими задачами и при этом потребляет мало энергии. Это важно для систем, работающих локально без доступа к мощным источникам питания.
• Эффективная память: в комплект входит 8 ГБ памяти LPDDR5 (память с низким энергопотреблением и удвоенной скоростью передачи данных, поколение 5). LPDDR5 — это тип RAM (оперативной памяти), оптимизированный для скорости и энергоэффективности. Благодаря этому устройство может работать с большими наборами данных и выполнять обработку в реальном времени без чрезмерного энергопотребления.
• Варианты подключения: устройство оснащено портами USB 3.2 для быстрой передачи данных, портом Gigabit Ethernet для надёжного сетевого подключения и интерфейсами для подключения датчиков или камер.
• Инструменты для разработки ИИ: Jetson Orin Nano Super совместим с NVIDIA JetPack SDK, который предоставляет такие инструменты, как CUDA для ускорения вычислений и TensorRT для оптимизации моделей ИИ. Эти инструменты помогают разработчикам быстро и эффективно создавать и развёртывать приложения ИИ.

Результаты бенчмарков: Jetson Orin Nano Super и Orin NX 16GB#

Если ты знаком с разработками NVIDIA, тебе, возможно, интересно, как эта новинка сравнивается с уже существующим NVIDIA Jetson Orin NX 16GB (без режима Super). Jetson Orin NX обладает более высокими общими возможностями, но комплект разработчика Jetson Orin Nano Super обеспечивает впечатляющую производительность за долю его стоимости.

Рис. 2. Обзор экосистемы NVIDIA Jetson Orin.

Краткий обзор:

• Производительность ИИ: Jetson Orin Nano Super обеспечивает до 67 TOPS, чего достаточно для большинства задач периферийного ИИ, тогда как Jetson Orin NX предлагает до 100 TOPS для более требовательных приложений.
• Память: Jetson Orin Nano Super оснащён 8 ГБ LPDDR5, чего достаточно для задач реального времени, а Orin NX предлагает вдвое больший объём — 16 ГБ — для более серьёзных нагрузок.
• Энергоэффективность: Jetson Orin Nano Super потребляет меньше энергии; его мощность можно настраивать в диапазоне от 7 до 25 Вт. Jetson Orin NX требует больше энергии.
• GPU: обе модели используют архитектуру NVIDIA Ampere и оснащены 1 024 ядрами CUDA и 32 ядрами Tensor, обеспечивающими высокую производительность GPU.

Ultralytics YOLO11 на Jetson Orin Nano Super: визуальный ИИ на периферийных устройствах#

Теперь, когда мы лучше познакомились с Jetson Orin Nano Super, давай посмотрим, как YOLO11 помогает запускать возможности визуального ИИ на периферийных устройствах. Модели Ultralytics YOLO, включая YOLO11, поддерживают универсальные режимы, такие как train, predict и export, поэтому подходят для самых разных рабочих процессов ИИ.

Например, в режиме обучения модели Ultralytics YOLO можно дообучать и обучать на пользовательских наборах данных для конкретных приложений — например, для обнаружения уникальных объектов или оптимизации под определённые условия. Режим предсказания предназначен для инференса и обеспечивает выполнение задач компьютерного зрения в реальном времени. Наконец, режим экспорта позволяет преобразовывать модели в форматы, оптимизированные для развёртывания.

Рис. 3. Модели Ultralytics YOLO поддерживают различные функции и режимы.

В режиме экспорта Ultralytics YOLO11 поддерживает множество вариантов развёртывания моделей, в том числе:

• NVIDIA TensorRT: этот формат оптимизирован для GPU NVIDIA и обеспечивает высокопроизводительный инференс с низкой задержкой на Jetson Orin Nano Super.
• ONNX (Open Neural Network Exchange): этот формат совместим с различными платформами, поэтому подходит для разных аппаратных и программных экосистем.
• TorchScript: этот формат идеально подходит для приложений на PyTorch и упрощает интеграцию в рабочие процессы PyTorch.
• TFLite (TensorFlow Lite): формат предназначен для лёгких ИИ-развёртываний и хорошо подходит для мобильных и встраиваемых систем.

Используя эти форматы развёртывания, разработчики могут максимально задействовать аппаратные возможности Jetson Orin Nano Super и запускать Ultralytics YOLO11 в реальном времени для таких приложений, как интеллектуальные пространства, робототехника и автоматизация розничной торговли.

Бенчмаркинг Ultralytics YOLO11 на NVIDIA Jetson Orin Nano Super#

Теперь, чтобы лучше понять, насколько быстро Ultralytics YOLO11 работает на NVIDIA Jetson Orin Nano Super, рассмотрим результаты тестов с форматами, использующими GPU-ускорение, например PyTorch, ONNX и TensorRT. Тесты показывают, что время инференса моделей YOLO11 на Jetson Orin Nano Super сопоставимо с показателями существующего Jetson Orin NX 16GB (без режима Super), а иногда даже меньше.

Рис. 4. Бенчмаркинг Ultralytics YOLO11 на NVIDIA Jetson Orin Nano Super.

Особенно примечательна доступная цена Jetson Orin Nano Super. Обеспечивая такую производительность менее чем за половину стоимости Jetson Orin NX 16GB, он предлагает отличное соотношение цены и возможностей разработчикам, создающим высокопроизводительные приложения на Ultralytics YOLO11. Благодаря сочетанию стоимости и производительности Jetson Orin Nano Super отлично подходит для задач ИИ для компьютерного зрения в реальном времени на периферии сети.

Рис. 5. Бенчмаркинг Ultralytics YOLO11 на Jetson Orin NX 16GB.

Попробуй Ultralytics YOLO11 на NVIDIA Jetson Orin Nano Super#

Если ты хочешь начать работу с развёртыванием Ultralytics YOLO11 на Jetson Orin Nano Super, процесс несложный. После прошивки устройства с помощью NVIDIA JetPack SDK можно быстро настроить его с помощью готового образа Docker или установить необходимые пакеты вручную.

Для быстрой настройки проще всего использовать обновлённый Docker-контейнер JetPack 6. Docker-контейнер — это лёгкая переносимая среда, включающая все необходимые инструменты и зависимости для запуска определённого программного обеспечения.

Контейнер Ultralytics, оптимизированный для JetPack 6.1, уже содержит CUDA 12.6, TensorRT 10.3 и необходимые инструменты, например PyTorch и TorchVision, адаптированные для архитектуры ARM64 устройств Jetson. Используя этот контейнер, разработчики могут сэкономить время на настройке и сосредоточиться на создании и оптимизации своих приложений визуального ИИ на YOLO11.

Применение Ultralytics YOLO11 на NVIDIA Jetson Orin Nano Super#

Если ты ищешь вдохновение для следующего проекта в области ИИ, вокруг тебя повсюду есть возможности для приложений компьютерного зрения на периферийных устройствах.

В повседневной жизни периферийный ИИ меняет интеллектуальные пространства: системы могут обнаруживать объекты и отслеживать их в реальном времени без облачной обработки. Будь то мониторинг дорожного движения в оживлённом городе или выявление необычной активности в общественных местах, периферийный ИИ для компьютерного зрения повышает безопасность и эффективность.

Розничные продавцы также используют периферийный ИИ и компьютерное зрение. От автоматизированной проверки запасов до предотвращения краж — модели вроде Ultralytics YOLO11 позволяют компаниям внедрять решения реального времени непосредственно в магазинах.

Аналогично, ИИ в здравоохранении помогает защищать безопасность пациентов, обнаруживать аномалии и обеспечивать соблюдение требований благодаря мониторингу на периферии без задержек, связанных с зависимостью от облака. Такие инструменты, как Jetson Orin Nano Super и Ultralytics YOLO11, приближают будущее ИИ для компьютерного зрения на периферии — именно там, где он нужнее всего.

Главные выводы#

Развёртывание моделей Ultralytics YOLO, например YOLO11, на комплекте разработчика NVIDIA Jetson Orin Nano Super — надёжное и эффективное решение для периферийных приложений ИИ. Благодаря высокой производительности GPU, нативной поддержке PyTorch, ONNX и TensorRT, а также впечатляющим результатам тестов, устройство хорошо подходит для задач компьютерного зрения в реальном времени, таких как обнаружение объектов и отслеживание.

Развитие ИИ для компьютерного зрения и аппаратного ускорения меняет подход к работе и помогает разработчикам создавать масштабируемые высокопроизводительные решения на периферии сети. По мере развития ИИ такие инструменты, как Ultralytics YOLO11 и Jetson Orin Nano Super, как никогда упрощают создание интеллектуальных решений для работы в реальном времени.

Интересуешься ИИ? Посети наш репозиторий на GitHub, чтобы изучить наши разработки и пообщаться с нашим сообществом. Узнай, как мы применяем ИИ для решения важных задач в таких отраслях, как сельское хозяйство и здравоохранение.