Indem Sie auf „Alle Cookies akzeptieren“ klicken, stimmen Sie der Speicherung von Cookies auf Ihrem Gerät zu, um die Website-Navigation zu verbessern, die Website-Nutzung zu analysieren und unsere Marketingbemühungen zu unterstützen. Mehr Infos
Cookie-Einstellungen
Indem Sie auf „Alle Cookies akzeptieren“ klicken, stimmen Sie der Speicherung von Cookies auf Ihrem Gerät zu, um die Website-Navigation zu verbessern, die Website-Nutzung zu analysieren und unsere Marketingbemühungen zu unterstützen. Mehr Infos
Erfahren Sie, wie der Einsatz von Ultralytics YOLO11 auf NVIDIA Jetson Orin Nano Super beeindruckende Benchmarks und GPU-beschleunigte Leistung für fortschrittliche KI-Anwendungen liefert.
Das am 17. Dezember 2024 eingeführte NVIDIA Jetson Orin Nano Super Developer Kit ist ein kompakter, aber leistungsstarker generativer KI-Supercomputer, der fortschrittliche Funktionen für Edge Computing bereitstellt. Es ermöglicht die Echtzeitverarbeitung und macht Cloud Computing überflüssig. Mit dem NVIDIA Jetson Orin Nano Super können Entwickler kostengünstige, intelligente Systeme entwickeln, die effizient in lokalen Umgebungen arbeiten.
In Kombination mit Ultralytics YOLO-Modellen wie Ultralytics YOLO11 kann der Jetson Orin Nano Super eine Vielzahl von Vision-AI-Anwendungen am Edge verarbeiten. Insbesondere YOLO11 ist ein Computer-Vision-Modell, das für seine Geschwindigkeit und Genauigkeit bei Aufgaben wie Objekterkennung, Objektverfolgung und Instanzsegmentierung bekannt ist.
Die Kombination der Fähigkeiten von YOLO11 mit der robusten GPU (Graphics Processing Unit) des Kits und der Unterstützung für Frameworks wie PyTorch, ONNX und NVIDIA TensorRT ermöglicht hochleistungsfähige Bereitstellungen. Diese Kombination bietet Entwicklern eine effiziente Lösung für die Erstellung von KI-Anwendungen, von der Objekterkennung in der Robotik bis hin zur Echtzeit-Objektverfolgung in intelligenten Räumen und Einzelhandelssystemen.
In diesem Artikel werden wir uns das NVIDIA Jetson Orin Nano Super Developer Kit ansehen, wie es mit Ultralytics YOLO11 für Edge AI funktioniert, seine Performance-Benchmarks, reale Anwendungen und wie es Entwicklern helfen kann, Vision-AI-Projekte zu erstellen. Los geht's!
Was ist das NVIDIA Jetson Orin Nano Super Developer Kit?
Das NVIDIA Jetson Orin Nano Super Developer Kit ist ein kompakter, aber leistungsstarker Computer, der generative KI für kleine Edge-Geräte neu definiert. Es liefert bis zu 67 TOPS (Billionen Operationen pro Sekunde) an KI-Leistung und ist damit ideal für Entwickler, Studenten und Hobbyanwender, die an fortschrittlichen KI-Projekten arbeiten.
Hier sind einige seiner Hauptmerkmale:
GPU-Leistung: Das Gerät basiert auf der NVIDIA Ampere-Architektur-GPU, die 1.024 CUDA-Kerne und 32 Tensor-Kerne umfasst. CUDA-Kerne verarbeiten viele Aufgaben gleichzeitig und beschleunigen so komplexe Berechnungen, während Tensor-Kerne auf KI-Aufgaben wie Deep Learning spezialisiert sind.
Leistungsstarke CPU: Es verfügt über einen 6-Kern-Arm Cortex-A78AE-Prozessor, der auf ein ausgewogenes Verhältnis von Geschwindigkeit und Effizienz ausgelegt ist. Das Gerät kann mehrere Aufgaben reibungslos bewältigen und gleichzeitig den Energieverbrauch niedrig halten. Dies ist wichtig für Systeme, die lokal ohne Zugang zu großen Stromquellen betrieben werden.
Effizienter Speicher: Das Kit wird mit 8 GB LPDDR5-Speicher (Low Power Double Data Rate 5) geliefert. LPDDR5 ist eine Art von RAM (Random Access Memory), das für Geschwindigkeit und Energieeffizienz optimiert ist, sodass das Gerät große Datensätze und Echtzeitverarbeitung verarbeiten kann, ohne übermäßig viel Strom zu verbrauchen.
Konnektivitätsoptionen: Es umfasst USB 3.2-Anschlüsse für schnelle Datenübertragungen, einen Gigabit-Ethernet-Anschluss für starke Netzwerkverbindungen und Kameraschnittstellen für die Integration von Sensoren oder Kameras.
KI-Entwicklungstools: Das Jetson Orin Nano Super arbeitet mit dem NVIDIA JetPack SDK, das Tools wie CUDA für schnellere Berechnungen und TensorRT zur Optimierung von KI-Modellen bereitstellt. Diese Tools erleichtern es Entwicklern, KI-Anwendungen schnell und effizient zu erstellen und bereitzustellen.
Performance-Benchmarks: Jetson Orin Nano Super Vs. Orin NX 16GB
Wenn Sie mit der Arbeit von NVIDIA vertraut sind, fragen Sie sich vielleicht, wie dieser neue Release im Vergleich zum bestehenden NVIDIA Jetson Orin NX 16GB (ohne Super-Modus) abschneidet. Während der Jetson Orin NX insgesamt höhere Fähigkeiten bietet, bietet das Jetson Orin Nano Super Developer Kit eine beeindruckende Leistung zu einem Bruchteil der Kosten.
Abb. 2. Ein Blick auf das NVIDIA Jetson Orin-Ökosystem.
Hier ist ein kurzer Überblick:
KI-Leistung: Jetson Orin Nano Super liefert bis zu 67 TOPS, was für die meisten Edge-KI-Aufgaben großartig ist, während Jetson Orin NX bis zu 100 TOPS für anspruchsvollere Anwendungen bietet.
Speicher: Jetson Orin Nano Super enthält 8 GB LPDDR5, genug für Echtzeitaufgaben, während Orin NX ihn auf 16 GB für größere Workloads verdoppelt.
Energieeffizienz: Jetson Orin Nano Super ist energieeffizienter und zwischen 7 W und 25 W konfigurierbar, verglichen mit dem höheren Strombedarf des Jetson Orin NX.
GPU: Beide nutzen die NVIDIA Ampere-Architektur mit 1.024 CUDA-Kernen und 32 Tensor-Kernen für eine robuste GPU-Leistung.
YOLO11 mit Jetson Orin Nano Super: Vision AI an den Edge bringen
Nachdem wir nun ein besseres Verständnis des Jetson Orin Nano Super haben, wollen wir uns ansehen, wie YOLO11 Vision-AI-Funktionen an den Edge bringen kann. Ultralytics YOLO-Modelle, einschließlich YOLO11, verfügen über vielseitige Modi wie Trainieren, Vorhersagen und Exportieren, wodurch sie an eine Vielzahl von KI-Workflows angepasst werden können.
Im Trainingsmodus können Ultralytics YOLO-Modelle beispielsweise auf benutzerdefinierten Datensätzen für spezifische Anwendungen feinabgestimmt und trainiert werden, z. B. zum Erkennen einzigartiger Objekte oder zur Optimierung für bestimmte Umgebungen. Ebenso ist der Vorhersagemodus für die Inferenz konzipiert und ermöglicht Computer-Vision-Aufgaben in Echtzeit. Schließlich kann der Exportmodus verwendet werden, um Modelle in Formate zu konvertieren, die für die Bereitstellung optimiert sind.
Abb. 3. Ultralytics YOLO-Modelle unterstützen verschiedene Funktionen und Modi.
YOLO11 im Export-Modus unterstützt eine Reihe von Optionen für die Modellbereitstellung, darunter:
NVIDIATensorRT: Dieses Format ist für NVIDIA-GPUs optimiert und bietet hochleistungsfähige Inferenz mit geringer Latenz auf dem Jetson Orin Nano Super.
ONNX (Open Neural Network Exchange): Es gewährleistet die Kompatibilität über verschiedene Plattformen hinweg und ist somit vielseitig für unterschiedliche Hardware- und Software-Ökosysteme einsetzbar.
TorchScript: Dieses Format ist ideal für PyTorch-basierte Anwendungen und unterstützt die nahtlose Integration in PyTorch-Workflows.
TFLite (TensorFlow Lite): Ein Format, das für schlanke KI-Bereitstellungen entwickelt wurde und sich perfekt für mobile und eingebettete Systeme eignet.
Mithilfe dieser Bereitstellungsformate können Entwickler die Hardware des Jetson Orin Nano Super voll ausschöpfen, um YOLO11 für Echtzeitanwendungen wie Smart Spaces, Robotik und Einzelhandelsautomatisierung auszuführen.
Benchmarking von YOLO11 auf dem NVIDIA Jetson Orin Nano Super
Um eine bessere Vorstellung davon zu bekommen, wie schnell YOLO11 auf dem NVIDIA Jetson Orin Nano Super laufen kann, wollen wir als Nächstes seine beeindruckende Leistung und seine Benchmarks mithilfe von GPU-beschleunigten Exportformaten wie PyTorch, ONNX und TensorRT untersuchen. Diese Tests zeigen, dass der Jetson Orin Nano Super Inferenzzeiten mit YOLO11-Modellen erreicht, die mit dem bestehenden Jetson Orin NX 16 GB (ohne Super-Modus) vergleichbar sind – und ihn gelegentlich übertreffen.
Abb. 4. Benchmarking von YOLO11 auf NVIDIA Jetson Orin Nano Super.
Was dies noch bemerkenswerter macht, ist die Erschwinglichkeit des Jetson Orin Nano Super. Er bietet eine solche Leistung zu weniger als dem halben Preis des Jetson Orin NX 16 GB und bietet Entwicklern, die hochleistungsfähige YOLO11-Anwendungen entwickeln, einen außergewöhnlichen Mehrwert. Diese Kombination aus Kosten und Leistung macht den Jetson Orin Nano Super zu einer ausgezeichneten Wahl für Echtzeit-Vision-AI-Aufgaben am Edge.
Abb. 5. Benchmarking von YOLO11 auf Jetson Orin NX 16GB.
Praktische Erfahrungen mit YOLO11 und dem NVIDIA Jetson Orin Nano Super sammeln
Wenn Sie sich darauf freuen, mit der Bereitstellung von YOLO11 auf dem Jetson Orin Nano Super zu beginnen, gibt es gute Nachrichten: Es ist ein unkomplizierter Prozess. Nachdem Sie Ihr Gerät mit dem NVIDIA JetPack SDK geflasht haben, können Sie entweder ein vorgefertigtes Docker-Image für eine schnelle Einrichtung verwenden oder die erforderlichen Pakete manuell installieren.
Für diejenigen, die eine schnellere und nahtlosere Integration suchen, ist der aktualisierte JetPack 6 Docker-Container die ideale Lösung. Ein Docker-Container ist eine schlanke, portable Umgebung, die alle notwendigen Tools und Abhängigkeiten enthält, um bestimmte Software auszuführen.
Der für JetPack 6.1 optimierte Ultralytics-Container ist mit CUDA 12.6, TensorRT 10.3 und wichtigen Tools wie PyTorch und TorchVision vorinstalliert, die alle auf die ARM64-Architektur von Jetson zugeschnitten sind. Durch die Verwendung dieses Containers können Entwickler Zeit bei der Einrichtung sparen und sich auf die Entwicklung und Optimierung ihrer Vision-AI-Anwendungen mit YOLO11 konzentrieren.
Anwendungen von YOLO11 auf dem NVIDIA Jetson Orin Nano Super
Für diejenigen, die Inspiration für ihr nächstes KI-Projekt suchen, gibt es überall um uns herum Potenzial für Edge-basierte Computer-Vision-Anwendungen.
Im Alltag definiert Edge AI intelligente Räume neu, indem sie es Systemen ermöglicht, Objekte in Echtzeit zu erkennen und zu verfolgen, ohne auf Cloud-Verarbeitung angewiesen zu sein. Ob es sich um die Überwachung des Verkehrs in einer geschäftigen Stadt oder die Identifizierung ungewöhnlicher Aktivitäten im öffentlichen Raum handelt, Edge Vision AI steigert die Sicherheit und Effizienz.
Auch Einzelhändler nutzen Edge AI und Computer Vision. Von automatisierten Bestandskontrollen bis hin zur Diebstahlprävention ermöglichen Modelle wie YOLO11 es Unternehmen, Echtzeitlösungen direkt in den Geschäften einzusetzen.
Auch im Bereich der KI im Gesundheitswesen sorgt Edge-basierte Überwachung für Patientensicherheit, erkennt Anomalien und gewährleistet die Einhaltung von Vorschriften – und das alles ohne Verzögerungen durch Cloud-Abhängigkeit. Mit Tools wie dem Jetson Orin Nano Super und YOLO11 entfaltet sich die Zukunft der Vision AI direkt am Edge, wo sie am dringendsten benötigt wird.
Wesentliche Erkenntnisse
Der Einsatz von Ultralytics YOLO-Modellen wie YOLO11 auf dem NVIDIA Jetson Orin Nano Super Developer Kit bietet eine zuverlässige und effiziente Lösung für Edge-KI-Anwendungen. Mit robuster GPU-Leistung, nahtloser Unterstützung für PyTorch, ONNX und TensorRT sowie beeindruckenden Benchmarks eignet es sich gut für Echtzeit-Computer-Vision-Aufgaben wie Objekterkennung und -verfolgung.
Innovationen und Kooperationen in Spitzentechnologien wie Vision AI und Hardwarebeschleunigung verändern unsere Arbeitsweise und ermöglichen es Entwicklern, skalierbare, hochleistungsfähige Lösungen am Edge zu entwickeln. Mit dem Fortschritt der KI machen Tools wie YOLO11 und der Jetson Orin Nano Super es einfacher denn je, intelligente Echtzeitlösungen zum Leben zu erwecken.
Neugierig auf KI? Besuchen Sie unser GitHub-Repository, um unsere Beiträge zu erkunden und sich mit unserer Community auszutauschen. Erfahren Sie, wie wir KI nutzen, um in Branchen wie Landwirtschaft und Gesundheitswesen etwas zu bewirken.