Ultralytics YOLO11 auf NVIDIA Jetson Orin Nano Super: schnell und effizient

Das am 17. Dezember 2024 veröffentlichte NVIDIA Jetson Orin Nano Super Developer Kit ist ein kompakter, aber leistungsstarker Mini-Supercomputer für generative KI, der entwickelt wurde, um erweiterte Funktionen in das edge computing zu bringen. Es ermöglicht die Verarbeitung in Echtzeit und macht Cloud-Computing überflüssig. Der NVIDIA Jetson Orin Nano Super ermöglicht es Entwicklern, erschwingliche intelligente Systeme zu entwickeln, die in lokalen Umgebungen effizient arbeiten.

In Kombination mit Ultralytics YOLO models wie Ultralytics YOLO11 kann der Jetson Orin Nano Super eine Vielzahl von Vision-KI-Anwendungen an der Edge bewältigen. Insbesondere ist YOLO11 ein Computer-Vision-Modell, das für seine Geschwindigkeit und Genauigkeit bei Aufgaben wie object detection, Objekterkennung und Instanzsegmentierung bekannt ist.

Die Kombination der Fähigkeiten von Ultralytics YOLO11 mit der robusten GPU (Graphics Processing Unit) des Kits und der Unterstützung für frameworks wie PyTorch, ONNX und NVIDIA TensorRT ermöglicht leistungsstarke Deployments. Diese Kombination bietet Entwicklern eine effiziente Lösung zum Erstellen von KI-Anwendungen, von der Objekterkennung in der Robotik bis hin zur Echtzeit-Objektverfolgung in Smart Spaces und Einzelhandelssystemen.

In diesem Artikel betrachten wir das NVIDIA Jetson Orin Nano Super Developer Kit, wie es mit Ultralytics YOLO11 für edge AI zusammenarbeitet, seine Leistungsbenchmarks, reale Anwendungen und wie es Entwicklern helfen kann, Vision-KI-Projekte zu erstellen. Fangen wir an!

Was ist das NVIDIA Jetson Orin Nano Super Developer Kit?#

Das NVIDIA Jetson Orin Nano Super Developer Kit ist ein kompakter und dennoch leistungsstarker Computer, der generative KI für kleine Edge-Geräte neu definiert. Es liefert bis zu 67 TOPS (Billionen Operationen pro Sekunde) an KI-Leistung und ist damit ideal für Entwickler, Studenten und Hobbyisten, die an fortschrittlichen KI-Projekten arbeiten.

Hier sind einige der wichtigsten Funktionen:

• GPU-Leistung: Das Gerät basiert auf der NVIDIA Ampere Architektur-GPU, die 1.024 CUDA-Cores und 32 Tensor-Cores umfasst. CUDA-Cores verarbeiten viele Aufgaben gleichzeitig, was komplexe Berechnungen beschleunigt, während Tensor-Cores auf KI-Aufgaben wie Deep Learning spezialisiert sind.
• Leistungsstarke CPU: Es verfügt über einen 6-Core Arm Cortex-A78AE-Prozessor, der darauf ausgelegt ist, Geschwindigkeit und Effizienz in Einklang zu bringen. Das Gerät kann mehrere Aufgaben reibungslos bewältigen und gleichzeitig den Energieverbrauch niedrig halten. Dies ist wichtig für Systeme, die lokal ohne Zugang zu großen Stromquellen betrieben werden.
• Effizienter Speicher: Das Kit wird mit 8 GB LPDDR5-Speicher (Low Power Double Data Rate 5) geliefert. LPDDR5 ist eine Art RAM (Random Access Memory), die auf Geschwindigkeit und Energieeffizienz optimiert ist und es dem Gerät ermöglicht, große datasets und die Verarbeitung in Echtzeit zu bewältigen, ohne übermäßigen Strom zu verbrauchen.
• Konnektivitätsoptionen: Es umfasst USB-3.2-Anschlüsse für schnelle Datenübertragungen, einen Gigabit-Ethernet-Anschluss für starke Netzwerkverbindungen und Kameraschnittstellen zur Integration von Sensoren oder cameras.
• KI-Entwicklungstools: Der Jetson Orin Nano Super arbeitet mit dem NVIDIA JetPack SDK, das Tools wie CUDA für schnelleres Computing und TensorRT zur Optimierung von KI-Modellen bereitstellt. Diese Tools erleichtern es Entwicklern, KI-Anwendungen schnell und effizient zu erstellen und bereitzustellen.

Leistungsbenchmarks: Jetson Orin Nano Super Vs. Orin NX 16GB#

Wenn du mit der Arbeit von NVIDIA vertraut bist, fragst du dich vielleicht, wie diese neue Version im Vergleich zum bestehenden NVIDIA Jetson Orin NX 16GB (ohne Super-Modus) abschneidet. Während der Jetson Orin NX insgesamt höhere Fähigkeiten bietet, liefert das Jetson Orin Nano Super Developer Kit eine beeindruckende Leistung zu einem Bruchteil der Kosten.

Fig 2. Ein Blick auf das NVIDIA Jetson Orin-Ökosystem.

Hier ist eine kurze Übersicht:

• KI-Leistung: Jetson Orin Nano Super liefert bis zu 67 TOPS, was für die meisten Edge-KI-Aufgaben hervorragend geeignet ist, während der Jetson Orin NX bis zu 100 TOPS für anspruchsvollere Anwendungen bietet.
• Speicher: Jetson Orin Nano Super enthält 8 GB LPDDR5, ausreichend für Echtzeitaufgaben, während Orin NX dies für größere Arbeitslasten auf 16 GB verdoppelt.
• Energieeffizienz: Der Jetson Orin Nano Super ist energieeffizienter und zwischen 7 W und 25 W konfigurierbar, verglichen mit den höheren Leistungsanforderungen des Jetson Orin NX.
• GPU: Beide teilen sich die NVIDIA Ampere Architektur mit 1.024 CUDA-Cores und 32 Tensor-Cores für eine robuste GPU-Leistung.

Ultralytics YOLO11 mit Jetson Orin Nano Super: Vision-KI für das Edge#

Jetzt, da wir ein besseres Verständnis vom Jetson Orin Nano Super haben, schauen wir uns an, wie YOLO11 dazu beitragen kann, Vision-KI-Fähigkeiten an die Edge zu bringen. Ultralytics YOLO-Modelle, einschließlich YOLO11, verfügen über vielseitige Modi wie Trainieren, Vorhersagen und Exportieren, wodurch sie an eine Vielzahl von KI-Workflows anpassbar sind.

Im Trainingsmodus können Ultralytics YOLO-Modelle beispielsweise feinabgestimmt und auf benutzerdefinierten Datensätzen für spezifische Anwendungen trainiert werden, wie z. B. das Erkennen einzigartiger Objekte oder das Optimieren für bestimmte Umgebungen. Ebenso ist der Vorhersagemodus für die Inferenz konzipiert, was Echtzeit-computer vision tasks ermöglicht. Schließlich kann der Exportmodus verwendet werden, um Modelle in Formate zu konvertieren, die für das Deployment optimiert sind.

Fig 3. Ultralytics YOLO-Modelle unterstützen verschiedene Funktionen und Modi.

Ultralytics YOLO11 im export-Modus unterstützt eine Reihe von Modell-Deployment-Optionen, darunter unter anderem:

• NVIDIA TensorRT: Dieses Format ist für NVIDIA-GPUs optimiert und bietet eine leistungsstarke Inferenz mit geringer Latenz auf dem Jetson Orin Nano Super.
• ONNX (Open Neural Network Exchange): Dies gewährleistet Kompatibilität über verschiedene Plattformen hinweg und macht es vielseitig für unterschiedliche Hardware- und Software-Ökosysteme.
• TorchScript: Dieses Format ist ideal für PyTorch-basierte Anwendungen und unterstützt die nahtlose Integration in PyTorch-Workflows.
• TFLite (TensorFlow Lite): Ein Format, das für leichtgewichtige KI-Deployments entwickelt wurde und sich daher perfekt für mobile und eingebettete Systeme eignet.

Durch die Verwendung dieser Deployment-Formate können Entwickler die Hardware des Jetson Orin Nano Super voll ausnutzen, um Ultralytics YOLO11 für Echtzeitanwendungen wie Smart Spaces, Robotik und Einzelhandelsautomatisierung auszuführen.

Benchmarking von Ultralytics YOLO11 auf dem NVIDIA Jetson Orin Nano Super#

Um eine bessere Vorstellung davon zu bekommen, wie schnell Ultralytics YOLO11 auf dem NVIDIA Jetson Orin Nano Super laufen kann, schauen wir uns im Folgenden die beeindruckende Leistung und die Benchmarks an, die GPU-beschleunigte Exportformate wie PyTorch, ONNX und TensorRT nutzen. Diese Tests zeigen, dass der Jetson Orin Nano Super mit YOLO11-Modellen Inferenzzeiten erreicht, die vergleichbar mit dem bestehenden Jetson Orin NX 16GB (ohne Super-Modus) sind und diesen gelegentlich sogar übertreffen.

Fig 4. Benchmarking von Ultralytics YOLO11 auf NVIDIA Jetson Orin Nano Super.

Was das Ganze noch bemerkenswerter macht, ist die Erschwinglichkeit des Jetson Orin Nano Super. Da er eine solche Leistung zu weniger als der Hälfte des Preises des Jetson Orin NX 16GB bietet, stellt er einen außergewöhnlichen Wert für Entwickler dar, die leistungsstarke Ultralytics YOLO11-Anwendungen erstellen. Diese Kombination aus Kosten und Leistung macht den Jetson Orin Nano Super zu einer ausgezeichneten Wahl für Echtzeit-Vision-KI-Aufgaben am Edge.

Fig 5. Benchmarking von Ultralytics YOLO11 auf Jetson Orin NX 16GB.

Lege selbst Hand an mit Ultralytics YOLO11 und dem NVIDIA Jetson Orin Nano Super#

Wenn du dich darauf freust, getting started mit dem Deployment von Ultralytics YOLO11 auf dem Jetson Orin Nano Super zu machen, gibt es gute Nachrichten – es ist ein unkomplizierter Prozess. Nachdem du dein Gerät mit dem NVIDIA JetPack SDK geflasht hast, kannst du entweder ein vorgefertigtes Docker-Image für ein schnelles Setup verwenden oder die erforderlichen Pakete manuell installieren.

Für diejenigen, die eine schnellere und nahtlosere Integration suchen, ist der aktualisierte JetPack 6 Docker-Container die ideale Lösung. Ein Docker-Container ist eine leichtgewichtige, portable Umgebung, die alle notwendigen Tools und Abhängigkeiten enthält, um bestimmte Software auszuführen.

Der Ultralytics-Container, optimiert für JetPack 6.1, wird mit vorinstalliertem CUDA 12.6, TensorRT 10.3 und wesentlichen Tools wie PyTorch und TorchVision geliefert, die alle auf die ARM64-Architektur von Jetson zugeschnitten sind. Durch die Verwendung dieses Containers können Entwickler Zeit bei der Einrichtung sparen und sich auf das Erstellen und Optimieren ihrer vision AI applications mit YOLO11 konzentrieren.

Anwendungen von Ultralytics YOLO11 auf dem NVIDIA Jetson Orin Nano Super#

Für alle, die Inspiration für ihr nächstes KI-Projekt suchen: Das Potenzial für Edge-basierte Computer-Vision-Anwendungen ist überall um uns herum.

Im Alltag definiert Edge-KI Smart Spaces neu, indem sie es Systemen ermöglicht, Objekte in Echtzeit zu erkennen und zu verfolgen, ganz ohne auf Cloud-Verarbeitung angewiesen zu sein. Ob es um die Überwachung des Verkehrs in einer belebten Stadt oder das Identifizieren ungewöhnlicher Aktivitäten in öffentlichen Räumen geht – Edge-Vision-KI steigert die Sicherheit und Effizienz.

Auch Einzelhändler machen sich Edge-KI und Computer Vision zunutze. Von automatisierten Bestandsprüfungen bis hin zur theft prevention ermöglichen Modelle wie Ultralytics YOLO11 Unternehmen, Echtzeit-Lösungen direkt in Filialen zu implementieren.

Ähnlich verhält es sich mit AI in healthcare: Edge-basiertes Monitoring gewährleistet Patientensicherheit, erkennt Anomalien und wahrt die Compliance – ganz ohne Verzögerungen durch Cloud-Abhängigkeit. Mit Tools wie dem Jetson Orin Nano Super und Ultralytics YOLO11 entfaltet sich die Zukunft der Vision-KI direkt am Edge, genau dort, wo sie am dringendsten benötigt wird.

Wichtige Erkenntnisse#

Die Bereitstellung von Ultralytics YOLO-Modellen wie YOLO11 auf dem NVIDIA Jetson Orin Nano Super Developer Kit bietet eine zuverlässige und effiziente Lösung für Edge-KI-Anwendungen. Mit robuster GPU-Leistung, nahtloser Unterstützung für PyTorch, ONNX und TensorRT sowie beeindruckenden Benchmarks ist es bestens geeignet für Echtzeit-Computer-Vision-Aufgaben wie Objekterkennung und -verfolgung.

Innovationen und Kooperationen bei Spitzentechnologien wie Vision-KI und Hardwarebeschleunigung verändern unsere Art zu arbeiten und befähigen Entwickler dazu, skalierbare, leistungsstarke Lösungen am Edge zu entwickeln. Während die KI voranschreitet, machen Tools wie Ultralytics YOLO11 und der Jetson Orin Nano Super es einfacher denn je, intelligente Echtzeit-Lösungen zum Leben zu erwecken.

Neugierig auf KI? Besuche unser GitHub repository, um unsere Beiträge zu erkunden und dich mit our community auszutauschen. Erfahre, wie wir KI einsetzen, um in Branchen wie der Landwirtschaft und dem Gesundheitswesen etwas zu bewirken.