Ultralytics YOLO11 auf dem NVIDIA Jetson Orin Nano Super: schnell und effizient

Das NVIDIA Jetson Orin Nano Super Developer Kit, das am 17. Dezember 2024 auf den Markt kam, ist ein kompakter, aber leistungsstarker Supercomputer für generative KI. Er bringt fortschrittliche Funktionen in die Edge-Computing-Umgebung. Das Gerät ermöglicht Echtzeitverarbeitung und verringert den Bedarf an Cloud Computing. Mit dem NVIDIA Jetson Orin Nano Super können Entwicklerinnen und Entwickler kostengünstige intelligente Systeme erstellen, die lokal effizient arbeiten.

In Verbindung mit Ultralytics-YOLO-Modellen wie Ultralytics YOLO11 kann das Jetson Orin Nano Super eine Vielzahl von Vision-KI-Anwendungen direkt am Edge ausführen. YOLO11 ist insbesondere ein Computer-Vision-Modell, das für seine Geschwindigkeit und Genauigkeit bei Aufgaben wie der Objekterkennung, der Objektverfolgung und der Instanzsegmentierung bekannt ist.

Die Fähigkeiten von Ultralytics YOLO11 lassen sich mit der leistungsstarken GPU (Grafikprozessor) des Kits und der Unterstützung für Frameworks wie PyTorch, ONNX und NVIDIA TensorRT kombinieren, um leistungsstarke Bereitstellungen zu ermöglichen. Diese Kombination bietet Entwicklern eine effiziente Lösung für die Entwicklung von KI-Anwendungen – von der Objekterkennung in der Robotik bis zur Echtzeit-Objektverfolgung in intelligenten Umgebungen und Einzelhandelssystemen.

In diesem Artikel sehen wir uns das NVIDIA Jetson Orin Nano Super Developer Kit an: wie es mit Ultralytics YOLO11 für Edge AI funktioniert, welche Leistungswerte es erreicht, welche praktischen Anwendungsfälle es gibt und wie es Entwicklerinnen und Entwickler bei Vision-AI-Projekten unterstützen kann.

Was ist das NVIDIA Jetson Orin Nano Super Developer Kit?#

Das NVIDIA Jetson Orin Nano Super Developer Kit ist ein kompakter und zugleich leistungsstarker Computer, der generative KI auf kleine Edge-Geräte bringt. Es bietet eine KI-Leistung von bis zu 67 TOPS (Billionen Operationen pro Sekunde) und eignet sich damit gut für Entwicklerinnen und Entwickler, Studierende und Hobbybegeisterte, die an fortschrittlichen KI-Projekten arbeiten.

Hier sind einige der wichtigsten Funktionen:

• GPU-Leistung: Das Gerät basiert auf einer GPU mit NVIDIA-Ampere-Architektur und verfügt über 1.024 CUDA-Kerne und 32 Tensor Cores. CUDA-Kerne verarbeiten viele Aufgaben gleichzeitig und beschleunigen dadurch komplexe Berechnungen. Tensor Cores sind speziell für KI-Aufgaben wie Deep Learning ausgelegt.
• Leistungsstarke CPU: Das Gerät verfügt über einen 6-Kern-Prozessor Arm Cortex-A78AE, der auf eine ausgewogene Kombination aus Geschwindigkeit und Effizienz ausgelegt ist. Es kann mehrere Aufgaben reibungslos bewältigen und dabei den Energieverbrauch gering halten. Das ist wichtig für Systeme, die lokal und ohne Zugang zu großen Energiequellen betrieben werden.
• Effizienter Speicher: Das Kit ist mit 8 GB LPDDR5-Speicher (Low Power Double Data Rate 5) ausgestattet. LPDDR5 ist ein RAM-Typ (Arbeitsspeicher), der auf Geschwindigkeit und Energieeffizienz optimiert ist. So kann das Gerät große Datensätze und Echtzeitverarbeitung bewältigen, ohne übermäßig viel Strom zu verbrauchen.
• Anschlussmöglichkeiten: Das Gerät verfügt über USB-3.2-Anschlüsse für schnelle Datenübertragungen, einen Gigabit-Ethernet-Anschluss für eine stabile Netzwerkverbindung sowie Kameraschnittstellen zum Einbinden von Sensoren oder Kameras.
• KI-Entwicklungswerkzeuge: Das Jetson Orin Nano Super ist mit dem NVIDIA JetPack SDK kompatibel. Dieses bietet Werkzeuge wie CUDA für schnellere Berechnungen und TensorRT zur Optimierung von KI-Modellen. Damit können Entwickler KI-Anwendungen einfacher und effizienter erstellen und bereitstellen.

Leistungsbenchmarks: Jetson Orin Nano Super im Vergleich zum Orin NX 16GB#

Wenn du mit der Arbeit von NVIDIA vertraut bist, fragst du dich vielleicht, wie diese neue Version im Vergleich zum bestehenden NVIDIA Jetson Orin NX 16GB (ohne Super-Modus) abschneidet. Das Jetson Orin NX bietet zwar insgesamt mehr Leistung, doch das Jetson Orin Nano Super Developer Kit überzeugt mit beeindruckender Leistung zu einem Bruchteil der Kosten.

Abb. 2. Ein Blick auf das NVIDIA-Jetson-Orin-Ökosystem.

Hier ein kurzer Überblick:

• KI-Leistung: Das Jetson Orin Nano Super bietet bis zu 67 TOPS und eignet sich damit hervorragend für die meisten Edge-KI-Aufgaben. Das Jetson Orin NX bietet bis zu 100 TOPS für anspruchsvollere Anwendungen.
• Speicher: Das Jetson Orin Nano Super verfügt über 8 GB LPDDR5, was für Echtzeitaufgaben ausreicht. Das Orin NX bietet mit 16 GB doppelt so viel Speicher für umfangreichere Arbeitslasten.
• Energieeffizienz: Das Jetson Orin Nano Super ist energieeffizienter und lässt sich zwischen 7 W und 25 W konfigurieren. Das Jetson Orin NX benötigt mehr Leistung.
• GPU: Beide verfügen über eine NVIDIA-Ampere-Architektur mit 1.024 CUDA-Kernen und 32 Tensor Cores und bieten damit eine starke GPU-Leistung.

Ultralytics YOLO11 mit Jetson Orin Nano Super: Vision-KI am Edge#

Nachdem wir nun das Jetson Orin Nano Super besser kennen, sehen wir uns an, wie YOLO11 Vision-KI-Funktionen auf Edge-Geräten ermöglicht. Ultralytics-YOLO-Modelle, darunter YOLO11, bieten vielseitige Modi wie Trainieren, Vorhersagen und Exportieren und lassen sich damit an verschiedene KI-Arbeitsabläufe anpassen.

Im Trainingsmodus lassen sich Ultralytics YOLO-Modelle beispielsweise mit benutzerdefinierten Datensätzen für bestimmte Anwendungen feinabstimmen und trainieren, etwa um spezielle Objekte zu erkennen oder das Modell für bestimmte Umgebungen zu optimieren. Der Vorhersagemodus ist hingegen für die Inferenz ausgelegt und ermöglicht Computer-Vision-Aufgaben in Echtzeit. Im Exportmodus schließlich lassen sich Modelle in für die Bereitstellung optimierte Formate umwandeln.

Abb. 3. Ultralytics-YOLO-Modelle unterstützen verschiedene Funktionen und Modi.

Ultralytics YOLO11 unterstützt im Exportmodus verschiedene Optionen zur Bereitstellung von Modellen, darunter:

• NVIDIA TensorRT: Dieses Format ist für NVIDIA-GPUs optimiert und ermöglicht auf dem Jetson Orin Nano Super eine leistungsstarke Inferenz mit niedriger Latenz.
• ONNX (Austauschformat für neuronale Netze): Es ist mit verschiedenen Plattformen kompatibel und dadurch in unterschiedlichen Hardware- und Softwareumgebungen vielseitig einsetzbar.
• TorchScript: Dieses Format eignet sich ideal für Anwendungen auf Basis von PyTorch und lässt sich unkompliziert in PyTorch-Arbeitsabläufe integrieren.
• TFLite (TensorFlow Lite): Dieses Format ist für ressourcenschonende KI-Anwendungen konzipiert und eignet sich daher gut für Mobilgeräte und eingebettete Systeme.

Mit diesen Bereitstellungsformaten können Entwickler die Hardware des Jetson Orin Nano Super voll ausschöpfen und Ultralytics YOLO11 für Echtzeitanwendungen wie intelligente Umgebungen, Robotik und die Automatisierung im Einzelhandel einsetzen.

Ultralytics YOLO11 auf dem NVIDIA Jetson Orin Nano Super im Benchmarktest#

Als Nächstes betrachten wir die Leistungswerte von Ultralytics YOLO11, um besser einschätzen zu können, wie schnell es auf dem NVIDIA Jetson Orin Nano Super läuft. Dazu sehen wir uns Tests mit GPU-beschleunigten Formaten wie PyTorch, ONNX und TensorRT an. Die Ergebnisse zeigen, dass der Jetson Orin Nano Super mit YOLO11-Modellen Inferenzzeiten erreicht, die mit denen des bisherigen Jetson Orin NX 16GB (ohne Super-Modus) vergleichbar und gelegentlich sogar schneller sind.

Abb. 4. Benchmarktest von Ultralytics YOLO11 auf dem NVIDIA Jetson Orin Nano Super.

Besonders bemerkenswert ist der günstige Preis des Jetson Orin Nano Super. Er bietet eine solche Leistung für weniger als die Hälfte des Preises des Jetson Orin NX 16GB und damit ein hervorragendes Preis-Leistungs-Verhältnis für Entwicklerinnen und Entwickler, die leistungsstarke Anwendungen mit Ultralytics YOLO11 erstellen. Diese Kombination aus Kosten und Leistung macht den Jetson Orin Nano Super zu einer ausgezeichneten Wahl für Vision-AI-Aufgaben in Echtzeit am Netzwerkrand.

Abb. 5. Benchmarktest von Ultralytics YOLO11 auf dem Jetson Orin NX 16GB.

Ultralytics YOLO11 und das NVIDIA Jetson Orin Nano Super selbst ausprobieren#

Wenn du mit der Bereitstellung von Ultralytics YOLO11 auf dem Jetson Orin Nano Super loslegen möchtest, ist der Prozess unkompliziert. Nachdem du dein Gerät mit dem NVIDIA JetPack SDK geflasht hast, kannst du entweder für eine schnelle Einrichtung ein vorkonfiguriertes Docker-Image verwenden oder die erforderlichen Pakete manuell installieren.

Für die schnellste Einrichtung ist der aktualisierte JetPack 6-Docker-Container die einfachste Option. Ein Docker-Container ist eine schlanke, portable Umgebung, die alle erforderlichen Werkzeuge und Abhängigkeiten für die Ausführung bestimmter Software enthält.

Der für JetPack 6.1 optimierte Ultralytics-Container ist mit CUDA 12.6, TensorRT 10.3 und wichtigen Werkzeugen wie PyTorch und TorchVision vorkonfiguriert und auf Jetsons ARM64-Architektur abgestimmt. Durch die Verwendung dieses Containers sparen Entwickler Zeit bei der Einrichtung und können sich darauf konzentrieren, ihre Vision-KI-Anwendungen mit YOLO11 zu entwickeln und zu optimieren.

Anwendungen von Ultralytics YOLO11 auf dem NVIDIA Jetson Orin Nano Super#

Wenn du nach Inspiration für dein nächstes KI-Projekt suchst: Potenzielle Computer-Vision-Anwendungen am Edge gibt es überall um uns herum.

Im Alltag verändert Edge AI intelligente Räume, indem es Systemen ermöglicht, Objekte in Echtzeit zu erkennen und zu verfolgen – ganz ohne Cloud-Verarbeitung. Ob es um die Überwachung des Verkehrs in einer geschäftigen Stadt oder das Erkennen ungewöhnlicher Aktivitäten an öffentlichen Orten geht: Edge Vision AI verbessert Sicherheit und Effizienz.

Auch Einzelhändler setzen zunehmend auf Edge-KI und Computer Vision. Von automatisierten Bestandskontrollen bis zur Diebstahlprävention ermöglichen Modelle wie Ultralytics YOLO11 Unternehmen, Echtzeitlösungen direkt in Geschäften einzusetzen.

Auch bei KI im Gesundheitswesen trägt die Überwachung direkt am Netzwerkrand zur Patientensicherheit bei, erkennt Anomalien und unterstützt die Einhaltung von Vorschriften – ohne Verzögerungen durch die Abhängigkeit von der Cloud. Mit Werkzeugen wie dem Jetson Orin Nano Super und Ultralytics YOLO11 entsteht die Zukunft von Vision AI direkt am Netzwerkrand, genau dort, wo sie am meisten gebraucht wird.

Die wichtigsten Erkenntnisse#

Die Bereitstellung von Ultralytics YOLO-Modellen wie YOLO11 auf dem NVIDIA Jetson Orin Nano Super Developer Kit bietet eine zuverlässige und effiziente Lösung für Edge-AI-Anwendungen. Dank der leistungsstarken GPU, der nativen Unterstützung für PyTorch, ONNX und TensorRT sowie beeindruckender Testergebnisse eignet sich das Gerät gut für Computer-Vision-Aufgaben in Echtzeit wie Objekterkennung und -verfolgung.

Fortschritte bei Vision AI und der Hardwarebeschleunigung verändern unsere Arbeitsweise und helfen Entwicklerinnen und Entwicklern, skalierbare, leistungsstarke Lösungen am Netzwerkrand zu entwickeln. Mit der Weiterentwicklung der KI erleichtern Werkzeuge wie Ultralytics YOLO11 und der Jetson Orin Nano Super es mehr denn je, intelligente Lösungen in Echtzeit umzusetzen.

Du interessierst dich für KI? Besuche unser GitHub-Repository, um unsere Beiträge zu entdecken und dich mit unserer Community auszutauschen. Erfahre, wie wir mit KI in Branchen wie Landwirtschaft und Gesundheitswesen etwas bewirken.