Ultralytics YOLO11 на NVIDIA Jetson Orin Nano Super: быстро и эффективно

Комплект разработчика NVIDIA Jetson Orin Nano Super, выпущенный 17 декабря 2024 года, — это компактный, но мощный суперкомпьютер для генеративного ИИ, созданный для внедрения передовых возможностей граничных вычислений. Он упрощает обработку данных в реальном времени и устраняет необходимость в облачных вычислениях. NVIDIA Jetson Orin Nano Super позволяет разработчикам создавать доступные интеллектуальные системы, эффективно работающие в локальных средах.

В сочетании с моделями Ultralytics YOLO, такими как Ultralytics YOLO11, Jetson Orin Nano Super способен выполнять широкий спектр задач ИИ компьютерного зрения на границе сети. В частности, YOLO11 — это модель компьютерного зрения, известная своей скоростью и точностью в задачах обнаружения объектов, отслеживания объектов и сегментации экземпляров.

Сочетание возможностей YOLO11 с мощным GPU (графическим процессором) комплекта и поддержкой таких фреймворков, как PyTorch, ONNX и NVIDIA TensorRT, позволяет развертывать высокопроизводительные решения. Эта комбинация предоставляет разработчикам эффективный инструмент для создания ИИ-приложений, от обнаружения объектов в робототехнике до отслеживания объектов в реальном времени в «умных» пространствах и розничных торговых системах.

В этой статье мы рассмотрим комплект разработчика NVIDIA Jetson Orin Nano Super, принципы его работы с Ultralytics YOLO11 для граничного ИИ, показатели его производительности, примеры реального применения и способы, которыми он помогает разработчикам в создании проектов компьютерного зрения. Давай начнем!

Link to this sectionЧто такое комплект разработчика NVIDIA Jetson Orin Nano Super?#

Комплект разработчика NVIDIA Jetson Orin Nano Super — это компактный, но мощный компьютер, который переосмысливает генеративный ИИ для небольших граничных устройств. Он обеспечивает до 67 TOPS (триллионов операций в секунду) производительности ИИ, что делает его идеальным выбором для разработчиков, студентов и энтузиастов, работающих над сложными проектами в области ИИ.

Вот некоторые из его ключевых особенностей:

• Производительность GPU: Устройство построено на базе графического процессора с архитектурой NVIDIA Ampere, который включает 1024 ядра CUDA и 32 тензорных ядра. Ядра CUDA обрабатывают множество задач одновременно, ускоряя сложные вычисления, в то время как тензорные ядра специализируются на задачах ИИ, таких как глубокое обучение.
• Мощный CPU: Он оснащен 6-ядерным процессором Arm Cortex-A78AE, разработанным для обеспечения баланса между скоростью и эффективностью. Устройство способно плавно обрабатывать несколько задач, сохраняя при этом низкое энергопотребление. Это важно для систем, работающих локально без доступа к мощным источникам питания.
• Эффективная память: Комплект поставляется с 8 ГБ оперативной памяти LPDDR5 (Low Power Double Data Rate 5). LPDDR5 — это тип оперативной памяти (RAM), оптимизированный для скорости и энергоэффективности, что позволяет устройству обрабатывать большие наборы данных и выполнять обработку в реальном времени, не потребляя лишнюю энергию.
• Возможности подключения: Он включает порты USB 3.2 для быстрой передачи данных, порт Gigabit Ethernet для стабильного сетевого соединения и интерфейсы камер для интеграции датчиков или камер.
• Инструменты разработки ИИ: Jetson Orin Nano Super работает с SDK NVIDIA JetPack, который предоставляет такие инструменты, как CUDA для ускорения вычислений и TensorRT для оптимизации моделей ИИ. Эти инструменты упрощают разработчикам процесс создания и быстрого развертывания ИИ-приложений.

Link to this sectionСравнительные тесты производительности: Jetson Orin Nano Super против Orin NX 16GB#

Если ты знаком с разработками NVIDIA, тебе может быть интересно, как этот новый выпуск соотносится с существующим NVIDIA Jetson Orin NX 16GB (без режима super). Хотя Jetson Orin NX обладает более высокими общими возможностями, комплект разработчика Jetson Orin Nano Super обеспечивает впечатляющую производительность за долю стоимости.

Рис. 2. Обзор экосистемы NVIDIA Jetson Orin.

Вот краткий обзор:

• Производительность ИИ: Jetson Orin Nano Super выдает до 67 TOPS, что отлично подходит для большинства задач граничного ИИ, тогда как Jetson Orin NX предлагает до 100 TOPS для более требовательных приложений.
• Память: Jetson Orin Nano Super включает 8 ГБ LPDDR5, что достаточно для задач в реальном времени, в то время как в Orin NX объем памяти увеличен вдвое до 16 ГБ для работы с более крупными рабочими нагрузками.
• Энергоэффективность: Jetson Orin Nano Super более энергоэффективен и поддерживает настройку потребления между 7 Вт и 25 Вт по сравнению с более высокими требованиями к питанию у Jetson Orin NX.
• GPU: Оба устройства используют архитектуру NVIDIA Ampere с 1024 ядрами CUDA и 32 тензорными ядрами для высокой производительности GPU.

Link to this sectionYOLO11 на Jetson Orin Nano Super: внедрение ИИ компьютерного зрения на границу сети#

Теперь, когда у нас есть лучшее представление о Jetson Orin Nano Super, давай посмотрим, как YOLO11 может помочь внедрить возможности ИИ компьютерного зрения на границу сети. Модели Ultralytics YOLO, включая YOLO11, обладают универсальными режимами, такими как обучение (train), предсказание (predict) и экспорт (export), что делает их адаптируемыми для множества рабочих процессов ИИ.

Например, в режиме обучения модели Ultralytics YOLO можно дообучать и тренировать на собственных наборах данных для конкретных задач, таких как обнаружение уникальных объектов или оптимизация под определенные среды. Аналогично, режим предсказания предназначен для вывода (inference), что позволяет выполнять задачи компьютерного зрения в реальном времени. Наконец, режим экспорта можно использовать для преобразования моделей в форматы, оптимизированные для развертывания.

Рис. 3. Модели Ultralytics YOLO поддерживают различные функции и режимы.

YOLO11 в режиме экспорта поддерживает ряд вариантов развертывания моделей, включая, помимо прочего:

• NVIDIA TensorRT: Этот формат оптимизирован для GPU NVIDIA, обеспечивая высокую производительность и низкую задержку вывода на Jetson Orin Nano Super.
• ONNX (Open Neural Network Exchange): Обеспечивает совместимость между различными платформами, что делает его универсальным для различных экосистем аппаратного и программного обеспечения.
• TorchScript: Этот формат идеально подходит для приложений на основе PyTorch, помогая обеспечить плавную интеграцию в рабочие процессы PyTorch.
• TFLite (TensorFlow Lite): Формат, разработанный для легковесных развертываний ИИ, что делает его идеальным для мобильных и встраиваемых систем.

Используя эти форматы развертывания, разработчики могут максимально использовать возможности аппаратного обеспечения Jetson Orin Nano Super для запуска YOLO11 в таких приложениях реального времени, как «умные» пространства, робототехника и автоматизация розничной торговли.

Link to this sectionБенчмаркинг YOLO11 на NVIDIA Jetson Orin Nano Super#

Далее, чтобы лучше понять, как быстро YOLO11 может работать на NVIDIA Jetson Orin Nano Super, давай изучим его впечатляющую производительность и показатели тестов с использованием форматов экспорта с ускорением GPU, таких как PyTorch, ONNX и TensorRT. Эти тесты показывают, что Jetson Orin Nano Super достигает времени вывода с моделями YOLO11, сопоставимого с существующим Jetson Orin NX 16GB (без режима super), а иногда даже превосходящего его.

Рис. 4. Бенчмаркинг YOLO11 на NVIDIA Jetson Orin Nano Super.

Что делает этот результат еще более примечательным, так это доступность Jetson Orin Nano Super. Предлагая такую производительность менее чем за полцены Jetson Orin NX 16GB, он обеспечивает исключительную ценность для разработчиков, создающих высокопроизводительные приложения на базе YOLO11. Сочетание стоимости и производительности делает Jetson Orin Nano Super отличным выбором для задач ИИ компьютерного зрения в реальном времени на границе сети.

Рис. 5. Бенчмаркинг YOLO11 на Jetson Orin NX 16GB.

Link to this sectionПриступай к работе с YOLO11 и NVIDIA Jetson Orin Nano Super#

Если тебе не терпится начать развертывание YOLO11 на Jetson Orin Nano Super, есть хорошие новости — процесс очень простой. После прошивки устройства с помощью NVIDIA JetPack SDK ты можешь либо использовать готовый образ Docker для быстрой настройки, либо вручную установить необходимые пакеты.

Для тех, кто ищет более быструю и плавную интеграцию, обновленный контейнер Docker JetPack 6 станет идеальным решением. Контейнер Docker — это легкая и портативная среда, которая включает все необходимые инструменты и зависимости для запуска конкретного программного обеспечения.

Контейнер Ultralytics, оптимизированный для JetPack 6.1, поставляется с предустановленными CUDA 12.6, TensorRT 10.3 и такими важными инструментами, как PyTorch и TorchVision, адаптированными под архитектуру ARM64 процессоров Jetson. Используя этот контейнер, разработчики могут сэкономить время на настройке и сосредоточиться на создании и оптимизации своих приложений ИИ компьютерного зрения с помощью YOLO11.

Link to this sectionПрименение YOLO11 на NVIDIA Jetson Orin Nano Super#

Если ты ищешь вдохновение для своего следующего ИИ-проекта, вокруг нас полно потенциала для граничных приложений компьютерного зрения.

В повседневной жизни граничный ИИ переосмысливает «умные» пространства, позволяя системам обнаруживать и отслеживать объекты в реальном времени, не полагаясь на облачную обработку. Будь то мониторинг дорожного движения в шумном городе или выявление необычной активности в общественных местах, граничный ИИ компьютерного зрения повышает безопасность и эффективность.

Ритейлеры также активно используют граничный ИИ и компьютерное зрение. От автоматизированных проверок инвентаря до предотвращения краж — такие модели, как YOLO11, позволяют компаниям внедрять решения реального времени непосредственно в магазинах.

Аналогично, когда речь идет об ИИ в здравоохранении, граничный мониторинг обеспечивает безопасность пациентов, обнаруживает аномалии и поддерживает соответствие требованиям — и все это без задержек, вызванных зависимостью от облака. С такими инструментами, как Jetson Orin Nano Super и YOLO11, будущее ИИ компьютерного зрения разворачивается прямо на границе сети, где это нужнее всего.

Link to this sectionОсновные выводы#

Развертывание моделей Ultralytics YOLO, таких как YOLO11, на комплекте разработчика NVIDIA Jetson Orin Nano Super предлагает надежное и эффективное решение для граничных приложений ИИ. Благодаря высокой производительности GPU, бесшовной поддержке PyTorch, ONNX и TensorRT, а также впечатляющим результатам тестов, он отлично подходит для задач компьютерного зрения в реальном времени, таких как обнаружение и отслеживание объектов.

Инновации и сотрудничество в таких передовых технологиях, как компьютерное зрение и аппаратное ускорение, меняют наши методы работы, позволяя разработчикам создавать масштабируемые и высокопроизводительные решения на границе сети. По мере развития ИИ такие инструменты, как YOLO11 и Jetson Orin Nano Super, делают внедрение интеллектуальных решений реального времени проще, чем когда-либо.

Интересуешься ИИ? Посети наш репозиторий на GitHub, чтобы ознакомиться с нашим вкладом и присоединиться к нашему сообществу. Посмотри, как мы используем ИИ для оказания влияния на такие отрасли, как сельское хозяйство и здравоохранение.