Ultralytics YOLO11 auf NVIDIA Jetson Orin Nano Super: schnell und effizient

Das am 17. Dezember 2024 veröffentlichte NVIDIA Jetson Orin Nano Super Developer Kit ist ein kompakter, aber leistungsstarker generativer KI-Supercomputer, der entwickelt wurde, um fortschrittliche Funktionen für das Edge Computing bereitzustellen. Es ermöglicht Echtzeitverarbeitung und macht Cloud-Computing überflüssig. Mit dem NVIDIA Jetson Orin Nano Super können Entwickler erschwingliche intelligente Systeme bauen, die effizient in lokalen Umgebungen funktionieren.

In Kombination mit Ultralytics YOLO-Modellen wie Ultralytics YOLO11 kann das Jetson Orin Nano Super eine Vielzahl von Vision-KI-Anwendungen an der Edge bewältigen. Insbesondere YOLO11 ist ein Computer-Vision-Modell, das für seine Geschwindigkeit und Genauigkeit bei Aufgaben wie Objekterkennung, Objektverfolgung und Instanzsegmentierung bekannt ist.

Die Kombination der Fähigkeiten von YOLO11 mit der robusten GPU (Graphics Processing Unit) des Kits und der Unterstützung für Frameworks wie PyTorch, ONNX und NVIDIA TensorRT ermöglicht leistungsstarke Implementierungen. Diese Kombination bietet Entwicklern eine effiziente Lösung für die Erstellung von KI-Anwendungen, von der Objekterkennung in der Robotik bis hin zur Echtzeit-Objektverfolgung in Smart Spaces und Einzelhandelssystemen.

In diesem Artikel werfen wir einen Blick auf das NVIDIA Jetson Orin Nano Super Developer Kit, wie es mit Ultralytics YOLO11 für Edge AI zusammenarbeitet, seine Leistungsbenchmarks, reale Anwendungen und wie es Entwicklern beim Bau von Vision-KI-Projekten helfen kann. Lass uns anfangen!

Link to this sectionWas ist das NVIDIA Jetson Orin Nano Super Developer Kit?#

Das NVIDIA Jetson Orin Nano Super Developer Kit ist ein kompakter und dennoch leistungsstarker Computer, der generative KI für kleine Edge-Geräte neu definiert. Es liefert bis zu 67 TOPS (Billionen Operationen pro Sekunde) an KI-Leistung und ist damit ideal für Entwickler, Studenten und Hobbyisten, die an fortschrittlichen KI-Projekten arbeiten.

Hier sind einige der wichtigsten Funktionen:

• GPU-Leistung: Das Gerät basiert auf der NVIDIA Ampere Architektur-GPU, die 1.024 CUDA-Cores und 32 Tensor-Cores umfasst. CUDA-Cores verarbeiten viele Aufgaben gleichzeitig, was komplexe Berechnungen beschleunigt, während Tensor-Cores auf KI-Aufgaben wie Deep Learning spezialisiert sind.
• Leistungsstarke CPU: Es verfügt über einen 6-Core Arm Cortex-A78AE-Prozessor, der darauf ausgelegt ist, Geschwindigkeit und Effizienz in Einklang zu bringen. Das Gerät kann mehrere Aufgaben reibungslos bewältigen und gleichzeitig den Energieverbrauch niedrig halten. Dies ist wichtig für Systeme, die lokal ohne Zugang zu großen Stromquellen betrieben werden.
• Effizienter Speicher: Das Kit wird mit 8 GB LPDDR5 (Low Power Double Data Rate 5) Speicher geliefert. LPDDR5 ist eine Art von RAM (Random Access Memory), der auf Geschwindigkeit und Energieeffizienz optimiert ist und es dem Gerät ermöglicht, große Datensätze und Echtzeitverarbeitung ohne übermäßigen Stromverbrauch zu bewältigen.
• Konnektivitätsoptionen: Es umfasst USB 3.2-Anschlüsse für schnelle Datenübertragungen, einen Gigabit-Ethernet-Anschluss für starke Netzwerkverbindungen sowie Kameraschnittstellen zur Integration von Sensoren oder Kameras.
• KI-Entwicklungstools: Der Jetson Orin Nano Super arbeitet mit dem NVIDIA JetPack SDK zusammen, das Tools wie CUDA für schnellere Berechnungen und TensorRT zur Optimierung von KI-Modellen bereitstellt. Diese Tools erleichtern es Entwicklern, KI-Anwendungen schnell und effizient zu erstellen und bereitzustellen.

Link to this sectionLeistungsbenchmarks: Jetson Orin Nano Super Vs. Orin NX 16GB#

Wenn du mit der Arbeit von NVIDIA vertraut bist, fragst du dich vielleicht, wie diese neue Version im Vergleich zum bestehenden NVIDIA Jetson Orin NX 16GB (ohne Super-Modus) abschneidet. Während der Jetson Orin NX insgesamt höhere Fähigkeiten bietet, liefert das Jetson Orin Nano Super Developer Kit eine beeindruckende Leistung zu einem Bruchteil der Kosten.

Abb 2. Ein Blick auf das NVIDIA Jetson Orin-Ökosystem.

Hier ist eine kurze Übersicht:

• KI-Leistung: Jetson Orin Nano Super liefert bis zu 67 TOPS, was für die meisten Edge-KI-Aufgaben hervorragend geeignet ist, während der Jetson Orin NX bis zu 100 TOPS für anspruchsvollere Anwendungen bietet.
• Speicher: Jetson Orin Nano Super enthält 8 GB LPDDR5, ausreichend für Echtzeitaufgaben, während Orin NX dies für größere Arbeitslasten auf 16 GB verdoppelt.
• Energieeffizienz: Der Jetson Orin Nano Super ist energieeffizienter und zwischen 7 W und 25 W konfigurierbar, verglichen mit den höheren Leistungsanforderungen des Jetson Orin NX.
• GPU: Beide teilen sich die NVIDIA Ampere Architektur mit 1.024 CUDA-Cores und 32 Tensor-Cores für eine robuste GPU-Leistung.

Link to this sectionYOLO11 mit Jetson Orin Nano Super: Vision-KI an die Edge bringen#

Jetzt, da wir ein besseres Verständnis vom Jetson Orin Nano Super haben, schauen wir uns an, wie YOLO11 dazu beitragen kann, Vision-KI-Fähigkeiten an die Edge zu bringen. Ultralytics YOLO-Modelle, einschließlich YOLO11, verfügen über vielseitige Modi wie Trainieren, Vorhersagen und Exportieren, wodurch sie an eine Vielzahl von KI-Workflows anpassbar sind.

Zum Beispiel können Ultralytics YOLO-Modelle im Trainingsmodus feinabgestimmt und auf benutzerdefinierten Datensätzen für spezifische Anwendungen trainiert werden, wie etwa zum Erkennen einzigartiger Objekte oder zur Optimierung für bestimmte Umgebungen. Ebenso ist der Vorhersagemodus für Inferenzen konzipiert und ermöglicht Echtzeit-Computer-Vision-Aufgaben. Schließlich kann der Exportmodus verwendet werden, um Modelle in für die Bereitstellung optimierte Formate zu konvertieren.

Abb 3. Ultralytics YOLO-Modelle unterstützen verschiedene Funktionen und Modi.

YOLO11 im Export-Modus unterstützt eine Reihe von Modellbereitstellungsoptionen, einschließlich unter anderem:

• NVIDIA TensorRT: Dieses Format ist für NVIDIA-GPUs optimiert und bietet eine leistungsstarke Inferenz mit geringer Latenz auf dem Jetson Orin Nano Super.
• ONNX (Open Neural Network Exchange): Dies gewährleistet Kompatibilität über verschiedene Plattformen hinweg und macht es vielseitig für unterschiedliche Hardware- und Software-Ökosysteme.
• TorchScript: Dieses Format ist ideal für PyTorch-basierte Anwendungen und unterstützt eine nahtlose Integration in PyTorch-Workflows.
• TFLite (TensorFlow Lite): Ein Format, das für leichtgewichtige KI-Bereitstellungen entwickelt wurde und somit perfekt für mobile und eingebettete Systeme geeignet ist.

Durch die Verwendung dieser Bereitstellungsformate können Entwickler die Hardware des Jetson Orin Nano Super voll ausnutzen, um YOLO11 für Echtzeitanwendungen wie Smart Spaces, Robotik und Einzelhandelsautomatisierung auszuführen.

Link to this sectionBenchmarking von YOLO11 auf dem NVIDIA Jetson Orin Nano Super#

Um eine bessere Vorstellung davon zu bekommen, wie schnell YOLO11 auf dem NVIDIA Jetson Orin Nano Super laufen kann, untersuchen wir als Nächstes seine beeindruckende Leistung und Benchmarks unter Verwendung von GPU-beschleunigten Exportformaten wie PyTorch, ONNX und TensorRT. Diese Tests zeigen, dass der Jetson Orin Nano Super mit YOLO11-Modellen Inferenzzeiten erreicht, die mit dem bestehenden Jetson Orin NX 16GB (ohne Super-Modus) vergleichbar sind – und diesen gelegentlich sogar übertreffen.

Abb 4. Benchmarking von YOLO11 auf dem NVIDIA Jetson Orin Nano Super.

Was dies noch bemerkenswerter macht, ist die Erschwinglichkeit des Jetson Orin Nano Super. Da er eine solche Leistung für weniger als die Hälfte des Preises des Jetson Orin NX 16GB bietet, stellt er einen außergewöhnlichen Wert für Entwickler dar, die leistungsstarke YOLO11-Anwendungen entwickeln. Diese Kombination aus Kosten und Leistung macht den Jetson Orin Nano Super zu einer ausgezeichneten Wahl für Vision-KI-Aufgaben in Echtzeit an der Edge.

Abb 5. Benchmarking von YOLO11 auf dem Jetson Orin NX 16GB.

Link to this sectionErste Schritte mit YOLO11 und dem NVIDIA Jetson Orin Nano Super#

Wenn du dich darauf freust, loszulegen und YOLO11 auf dem Jetson Orin Nano Super bereitzustellen, gibt es gute Nachrichten – es ist ein unkomplizierter Prozess. Nachdem du dein Gerät mit dem NVIDIA JetPack SDK geflasht hast, kannst du entweder ein vorgefertigtes Docker-Image für eine schnelle Einrichtung verwenden oder die erforderlichen Pakete manuell installieren.

Für diejenigen, die eine schnellere und nahtlosere Integration suchen, ist der aktualisierte JetPack 6 Docker-Container die ideale Lösung. Ein Docker-Container ist eine leichtgewichtige, portable Umgebung, die alle notwendigen Tools und Abhängigkeiten enthält, um bestimmte Software auszuführen.

Der für JetPack 6.1 optimierte Ultralytics-Container ist mit CUDA 12.6, TensorRT 10.3 und wesentlichen Tools wie PyTorch und TorchVision vorinstalliert, die alle auf die ARM64-Architektur des Jetson zugeschnitten sind. Durch die Verwendung dieses Containers können Entwickler Zeit bei der Einrichtung sparen und sich darauf konzentrieren, ihre Vision-KI-Anwendungen mit YOLO11 zu bauen und zu optimieren.

Link to this sectionAnwendungen von YOLO11 auf dem NVIDIA Jetson Orin Nano Super#

Für alle, die Inspiration für ihr nächstes KI-Projekt suchen: Das Potenzial für Edge-basierte Computer-Vision-Anwendungen ist überall um uns herum.

Im Alltag definiert Edge-KI Smart Spaces neu, indem sie es Systemen ermöglicht, Objekte in Echtzeit zu erkennen und zu verfolgen, ganz ohne auf Cloud-Verarbeitung angewiesen zu sein. Ob es um die Überwachung des Verkehrs in einer belebten Stadt oder das Identifizieren ungewöhnlicher Aktivitäten in öffentlichen Räumen geht – Edge-Vision-KI steigert die Sicherheit und Effizienz.

Auch Einzelhändler setzen verstärkt auf Edge-KI und Computer Vision. Von automatisierten Inventurprüfungen bis hin zur Diebstahlprävention ermöglichen Modelle wie YOLO11 es Unternehmen, Echtzeitlösungen direkt in den Geschäften bereitzustellen.

Ähnliches gilt für KI im Gesundheitswesen: Edge-basierte Überwachung stellt die Patientensicherheit sicher, erkennt Anomalien und wahrt Compliance – alles ohne Verzögerungen durch Cloud-Abhängigkeit. Mit Tools wie dem Jetson Orin Nano Super und YOLO11 entfaltet sich die Zukunft der Vision-KI direkt an der Edge, wo sie am dringendsten benötigt wird.

Link to this sectionWichtige Erkenntnisse#

Die Bereitstellung von Ultralytics YOLO-Modellen wie YOLO11 auf dem NVIDIA Jetson Orin Nano Super Developer Kit bietet eine zuverlässige und effiziente Lösung für Edge-KI-Anwendungen. Mit robuster GPU-Leistung, nahtloser Unterstützung für PyTorch, ONNX und TensorRT sowie beeindruckenden Benchmarks ist es bestens geeignet für Echtzeit-Computer-Vision-Aufgaben wie Objekterkennung und -verfolgung.

Innovationen und Kooperationen in Spitzentechnologien wie Vision-KI und Hardwarebeschleunigung verändern unsere Arbeitsweise und befähigen Entwickler dazu, skalierbare Hochleistungslösungen an der Edge zu entwickeln. Während KI weiter voranschreitet, machen Tools wie YOLO11 und der Jetson Orin Nano Super es einfacher denn je, intelligente Echtzeitlösungen zum Leben zu erwecken.

Neugierig auf KI? Besuche unser GitHub-Repository, um unsere Beiträge zu erkunden und dich mit unserer Community auszutauschen. Sieh dir an, wie wir KI nutzen, um in Branchen wie der Landwirtschaft und dem Gesundheitswesen etwas zu bewirken.