Ultralytics YOLO11 auf dem NVIDIA Jetson Orin Nano Super: schnell und effizient

Das am 17. Dezember 2024 eingeführte NVIDIA Jetson Orin Nano Super Developer Kit ist ein kompakter, aber leistungsstarker Supercomputer für generative KI, der fortschrittliche Funktionen für Edge Computing bereitstellt. Er ermöglicht die Verarbeitung in Echtzeit und macht Cloud Computing überflüssig. Mit dem NVIDIA Jetson Orin Nano Super können Entwickler kostengünstige intelligente Systeme entwickeln, die effizient in lokalen Umgebungen arbeiten.

In Kombination mit Ultralytics-YOLO-Modellen wie Ultralytics YOLO11 kann der Jetson Orin Nano Super eine große Bandbreite an Anwendungen für Bildverarbeitungs-KI am Edge ausführen. Insbesondere ist YOLO11 ein für seine Geschwindigkeit und Genauigkeit bekanntes Computervisionsmodell für Aufgaben wie Objekterkennung, Objektverfolgung und Instanzsegmentierung.

Die Kombination der Fähigkeiten von Ultralytics YOLO11 mit der leistungsfähigen GPU (Grafikprozessor) des Kits und der Unterstützung für Frameworks wie PyTorch, ONNX und NVIDIA TensorRT ermöglicht leistungsstarke Bereitstellungen. Diese Kombination bietet Entwicklern eine effiziente Lösung für die Entwicklung von KI-Anwendungen – von der Objekterkennung in der Robotik bis zur Objektverfolgung in Echtzeit in intelligenten Räumen und Einzelhandelssystemen.

In diesem Artikel sehen wir uns das NVIDIA Jetson Orin Nano Super Developer Kit, seine Zusammenarbeit mit Ultralytics YOLO11 für Edge-KI, seine Leistungsbenchmarks und Anwendungen in der Praxis an und zeigen, wie es Entwickler beim Aufbau von Bildverarbeitungs-KI-Projekten unterstützen kann. Beginnen wir!

Was ist das NVIDIA Jetson Orin Nano Super Developer Kit?#

Das NVIDIA Jetson Orin Nano Super Developer Kit ist ein kompakter und dennoch leistungsstarker Computer, der generative KI für kleine Edge-Geräte neu definiert. Es liefert bis zu 67 TOPS (Billionen Operationen pro Sekunde) KI-Leistung und eignet sich damit ideal für Entwickler, Studierende und Hobbyisten, die an fortschrittlichen KI-Projekten arbeiten.

Hier sind einige der wichtigsten Funktionen:

• GPU-Leistung: Das Gerät basiert auf einer GPU mit NVIDIA-Ampere-Architektur und verfügt über 1.024 CUDA-Kerne und 32 Tensor Cores. CUDA-Kerne verarbeiten viele Aufgaben gleichzeitig und beschleunigen dadurch komplexe Berechnungen, während Tensor Cores auf KI-Aufgaben wie Deep Learning spezialisiert sind.
• Leistungsstarke CPU: Das Gerät verfügt über einen Prozessor mit 6 Arm-Cortex-A78AE-Kernen, der auf ein ausgewogenes Verhältnis von Geschwindigkeit und Effizienz ausgelegt ist. Es kann mehrere Aufgaben reibungslos verarbeiten und hält dabei den Energieverbrauch niedrig. Das ist wichtig für Systeme, die lokal und ohne Zugang zu großen Stromquellen betrieben werden.
• Effizienter Speicher: Das Kit verfügt über 8 GB LPDDR5-Speicher (LPDDR5). LPDDR5 ist eine Art RAM (Arbeitsspeicher), der für Geschwindigkeit und Energieeffizienz optimiert ist und es dem Gerät ermöglicht, große Datensätze sowie Verarbeitung in Echtzeit zu bewältigen, ohne übermäßig viel Energie zu verbrauchen.
• Verbindungsoptionen: Das Gerät verfügt über USB-3.2-Anschlüsse für schnelle Datenübertragungen, einen Gigabit-Ethernet-Anschluss für stabile Netzwerkverbindungen und Kameraschnittstellen zur Integration von Sensoren oder Kameras.
• Werkzeuge für die KI-Entwicklung: Der Jetson Orin Nano Super arbeitet mit dem NVIDIA JetPack SDK, das Werkzeuge wie CUDA für schnelleres Rechnen und TensorRT zur Optimierung von KI-Modellen bereitstellt. Diese Werkzeuge erleichtern es Entwicklern, KI-Anwendungen schnell und effizient zu entwickeln und bereitzustellen.

Leistungsbenchmarks: Jetson Orin Nano Super im Vergleich zum Orin NX 16GB#

Wenn du mit der Arbeit von NVIDIA vertraut bist, fragst du dich vielleicht, wie diese neue Version im Vergleich zum bestehenden NVIDIA Jetson Orin NX 16GB (ohne Super-Modus) abschneidet. Der Jetson Orin NX bietet zwar insgesamt höhere Leistungsfähigkeit, doch das NVIDIA Jetson Orin Nano Super Developer Kit liefert beeindruckende Leistung zu einem Bruchteil der Kosten.

Abb. 2: Ein Blick auf das NVIDIA-Jetson-Orin-Ökosystem.

Hier ein kurzer Überblick:

• KI-Leistung: Der Jetson Orin Nano Super liefert bis zu 67 TOPS und eignet sich damit hervorragend für die meisten Edge-KI-Aufgaben, während der Jetson Orin NX bis zu 100 TOPS für anspruchsvollere Anwendungen bietet.
• Speicher: Der Jetson Orin Nano Super verfügt über 8 GB LPDDR5, was für Aufgaben in Echtzeit ausreicht, während der Orin NX mit 16 GB doppelt so viel Speicher für größere Arbeitslasten bietet.
• Energieeffizienz: Der Jetson Orin Nano Super ist energieeffizienter und kann zwischen 7 W und 25 W konfiguriert werden, während der Jetson Orin NX einen höheren Energiebedarf hat.
• GPU: Beide verfügen über die NVIDIA-Ampere-Architektur mit 1.024 CUDA-Kernen und 32 Tensor Cores für eine leistungsfähige GPU.

Ultralytics YOLO11 mit Jetson Orin Nano Super: Bildverarbeitungs-KI am Edge#

Nachdem wir nun ein besseres Verständnis des Jetson Orin Nano Super haben, sehen wir uns an, wie YOLO11 Bildverarbeitungs-KI an den Edge bringen kann. Ultralytics-YOLO-Modelle, einschließlich YOLO11, bieten vielseitige Modi wie train, predict und export und lassen sich dadurch an verschiedene KI-Arbeitsabläufe anpassen.

Im Trainingsmodus können Ultralytics-YOLO-Modelle beispielsweise für bestimmte Anwendungen mit eigenen Datensätzen feinabgestimmt und trainiert werden, etwa zur Erkennung einzigartiger Objekte oder zur Optimierung für bestimmte Umgebungen. Der Vorhersagemodus ist dagegen für die Inferenz ausgelegt und ermöglicht Computervisionsaufgaben in Echtzeit. Mit dem Exportmodus lassen sich Modelle schließlich in für die Bereitstellung optimierte Formate umwandeln.

Abb. 3: Ultralytics-YOLO-Modelle unterstützen verschiedene Funktionen und Modi.

Der Exportmodus von Ultralytics YOLO11 unterstützt zahlreiche Optionen für die Bereitstellung von Modellen, darunter:

• NVIDIA TensorRT: Dieses Format ist für NVIDIA-GPUs optimiert und ermöglicht Inferenz mit hoher Leistung und geringer Latenz auf dem Jetson Orin Nano Super.
• ONNX (Austauschformat für neuronale Netze): Es gewährleistet die Kompatibilität mit verschiedenen Plattformen und ist dadurch für unterschiedliche Hardware- und Softwareökosysteme geeignet.
• TorchScript: Dieses Format eignet sich ideal für PyTorch-basierte Anwendungen und erleichtert die nahtlose Integration in PyTorch-Arbeitsabläufe.
• TFLite (TensorFlow Lite): Ein Format für ressourcenschonende KI-Bereitstellungen, das sich besonders für mobile und eingebettete Systeme eignet.

Mit diesen Bereitstellungsformaten können Entwickler die Hardware des Jetson Orin Nano Super vollständig nutzen, um Ultralytics YOLO11 für Echtzeitanwendungen wie intelligente Räume, Robotik und Automatisierung im Einzelhandel auszuführen.

Benchmarking von Ultralytics YOLO11 auf dem NVIDIA Jetson Orin Nano Super#

Um besser zu verstehen, wie schnell Ultralytics YOLO11 auf dem NVIDIA Jetson Orin Nano Super ausgeführt werden kann, sehen wir uns als Nächstes seine beeindruckende Leistung und Benchmarks mit GPU-beschleunigten Exportformaten wie PyTorch, ONNX und TensorRT an. Diese Tests zeigen, dass der Jetson Orin Nano Super bei der Inferenz mit YOLO11-Modellen Zeiten erreicht, die mit dem bestehenden Jetson Orin NX 16GB (ohne Super-Modus) vergleichbar sind und diesen gelegentlich sogar übertreffen.

Abb. 4: Benchmarking von Ultralytics YOLO11 auf dem NVIDIA Jetson Orin Nano Super.

Noch bemerkenswerter ist der günstige Preis des Jetson Orin Nano Super. Mit dieser Leistung zu weniger als der Hälfte des Preises des Jetson Orin NX 16GB bietet er Entwicklern, die leistungsstarke Anwendungen mit Ultralytics YOLO11 entwickeln, ein ausgezeichnetes Preis-Leistungs-Verhältnis. Diese Kombination aus Kosten und Leistung macht den Jetson Orin Nano Super zu einer hervorragenden Wahl für Bildverarbeitungs-KI-Aufgaben in Echtzeit am Edge.

Abb. 5: Benchmarking von Ultralytics YOLO11 auf dem Jetson Orin NX 16GB.

Ultralytics YOLO11 und den NVIDIA Jetson Orin Nano Super praktisch ausprobieren#

Wenn du mit der Bereitstellung von Ultralytics YOLO11 auf dem Jetson Orin Nano Super beginnen möchtest, gibt es gute Nachrichten: Der Vorgang ist unkompliziert. Nachdem du dein Gerät mit dem NVIDIA JetPack SDK geflasht hast, kannst du entweder für eine schnelle Einrichtung ein vorgefertigtes Docker-Image verwenden oder die erforderlichen Pakete manuell installieren.

Für eine schnellere und nahtlosere Integration ist der aktualisierte Docker-Container für JetPack 6 die ideale Lösung. Ein Docker-Container ist eine schlanke, portable Umgebung, die alle erforderlichen Werkzeuge und Abhängigkeiten für die Ausführung bestimmter Software enthält.

Der für JetPack 6.1 optimierte Ultralytics-Container enthält bereits CUDA 12.6, TensorRT 10.3 und wichtige Werkzeuge wie PyTorch und TorchVision, die alle auf die ARM64-Architektur des Jetson abgestimmt sind. Mit diesem Container können Entwickler Zeit bei der Einrichtung sparen und sich auf die Entwicklung und Optimierung ihrer Anwendungen für Bildverarbeitungs-KI mit YOLO11 konzentrieren.

Anwendungen von Ultralytics YOLO11 auf dem NVIDIA Jetson Orin Nano Super#

Wenn du Inspiration für dein nächstes KI-Projekt suchst, gibt es überall um uns herum Potenzial für Edge-basierte Computervisionsanwendungen.

Im Alltag verändert Edge-KI intelligente Räume, indem sie Systemen ermöglicht, Objekte in Echtzeit zu erkennen und zu verfolgen – ganz ohne Cloud-Verarbeitung. Ob bei der Verkehrsüberwachung in einer geschäftigen Stadt oder bei der Erkennung ungewöhnlicher Aktivitäten im öffentlichen Raum: Bildverarbeitungs-KI am Edge steigert Sicherheit und Effizienz.

Auch Einzelhändler setzen zunehmend auf Edge-KI und Computervision. Von automatisierten Bestandsprüfungen bis zur Diebstahlprävention ermöglichen Modelle wie Ultralytics YOLO11 Unternehmen, Lösungen in Echtzeit direkt in ihren Filialen bereitzustellen.

Auch bei KI im Gesundheitswesen gewährleistet die Überwachung am Edge die Sicherheit von Patienten, erkennt Anomalien und stellt die Einhaltung von Vorschriften sicher – ohne Verzögerungen durch die Abhängigkeit von der Cloud. Mit Werkzeugen wie dem Jetson Orin Nano Super und Ultralytics YOLO11 entsteht die Zukunft der Bildverarbeitungs-KI direkt am Edge, wo sie am dringendsten benötigt wird.

Wichtige Erkenntnisse#

Die Bereitstellung von Ultralytics-YOLO-Modellen wie YOLO11 auf dem NVIDIA Jetson Orin Nano Super Developer Kit bietet eine zuverlässige und effiziente Lösung für Edge-KI-Anwendungen. Mit leistungsfähiger GPU, nahtloser Unterstützung für PyTorch, ONNX und TensorRT sowie beeindruckenden Benchmarks eignet sich das Kit hervorragend für Computervisionsaufgaben in Echtzeit wie Objekterkennung und Objektverfolgung.

Innovationen und Kooperationen bei Spitzentechnologien wie Bildverarbeitungs-KI und Hardwarebeschleunigung verändern unsere Arbeitsweise und ermöglichen es Entwicklern, skalierbare, leistungsstarke Lösungen am Edge zu entwickeln. Mit dem Fortschritt der KI machen Werkzeuge wie Ultralytics YOLO11 und der Jetson Orin Nano Super es einfacher denn je, intelligente Lösungen in Echtzeit zum Leben zu erwecken.

Interessierst du dich für KI? Besuche unser GitHub-Repository, um unsere Beiträge zu erkunden und dich mit unserer Community auszutauschen. Erfahre, wie wir KI einsetzen, um Branchen wie Landwirtschaft und Gesundheitswesen voranzubringen.