12. Februar 2025
Erfahren Sie, wie Sie Ultralytics YOLO11 auf Rockchip mit dem RKNN Toolkit für effizientes Edge AI, KI-Beschleunigung und Echtzeit-Objekterkennung bereitstellen können.
Ein aktuelles Schlagwort in der KI-Community ist Edge AI, insbesondere wenn es um Computer Vision geht. Mit dem Wachstum KI-gesteuerter Anwendungen steigt der Bedarf, Modelle effizient auf eingebetteten Geräten mit begrenzter Leistung und Rechenressourcen auszuführen.
Drohnen nutzen beispielsweise Vision AI für die Echtzeitnavigation, intelligente Kameras erkennen Objekte sofort und industrielle Automatisierungssysteme führen Qualitätskontrollen durch, ohne auf Cloud Computing angewiesen zu sein. Diese Anwendungen erfordern eine schnelle, effiziente KI-Verarbeitung direkt auf Edge-Geräten, um Echtzeitleistung und geringe Latenz zu gewährleisten. Das Ausführen von KI-Modellen auf Edge-Geräten ist jedoch nicht immer einfach. KI-Modelle benötigen oft mehr Leistung und Speicher, als viele Edge-Geräte bewältigen können.
Das RKNN-Toolkit von Rockchip hilft bei der Lösung dieses Problems, indem es Deep-Learning-Modelle für Rockchip-basierte Geräte optimiert. Es verwendet dedizierte Neural Processing Units (NPUs), um die Inferenz zu beschleunigen und die Latenz sowie den Stromverbrauch im Vergleich zur CPU- oder GPU-Verarbeitung zu reduzieren.
Die Vision-AI-Community wollte schon lange Ultralytics YOLO11 auf Rockchip-basierten Geräten ausführen, und wir haben Sie gehört. Wir haben die Unterstützung für den Export von YOLO11 in das RKNN-Modellformat hinzugefügt. In diesem Artikel werden wir untersuchen, wie der Export nach RKNN funktioniert und warum der Einsatz von YOLO11 auf Rockchip-basierten Geräten einen Wendepunkt darstellt.
Rockchip ist ein Unternehmen, das System-on-Chips (SoCs) entwickelt - winzige, aber leistungsstarke Prozessoren, die viele eingebettete Geräte betreiben. Diese Chips kombinieren eine CPU, eine GPU und eine Neural Processing Unit (NPU), um alles von allgemeinen Rechenaufgaben bis hin zu Vision-AI-Anwendungen zu bewältigen, die auf Objekterkennung und Bildverarbeitung basieren.
Rockchip SoCs werden in einer Vielzahl von Geräten eingesetzt, darunter Single-Board-Computer (SBCs), Entwicklungsboards, industrielle KI-Systeme und intelligente Kameras. Viele bekannte Hardwarehersteller, Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas und Banana Pi, bauen Geräte, die mit Rockchip SoCs betrieben werden. Diese Boards sind beliebt für Edge-KI und Computer-Vision-Anwendungen, da sie ein ausgewogenes Verhältnis von Leistung, Energieeffizienz und Erschwinglichkeit bieten.
Damit KI-Modelle auf diesen Geräten effizient laufen können, bietet Rockchip das RKNN (Rockchip Neural Network) Toolkit an. Es ermöglicht Entwicklern, Deep-Learning-Modelle zu konvertieren und zu optimieren, um die Neural Processing Units (NPUs) von Rockchip zu nutzen.
RKNN-Modelle sind für Inferenz mit niedriger Latenz und effizienten Stromverbrauch optimiert. Durch die Konvertierung von Modellen in RKNN können Entwickler schnellere Verarbeitungsgeschwindigkeiten, einen geringeren Stromverbrauch und eine verbesserte Effizienz auf Rockchip-basierten Geräten erzielen.
Werfen wir einen genaueren Blick darauf, wie RKNN-Modelle die KI-Leistung auf Rockchip-fähigen Geräten verbessern.
Im Gegensatz zu CPUs und GPUs, die ein breites Spektrum an Rechenaufgaben bewältigen, sind die NPUs von Rockchip speziell für Deep Learning konzipiert. Durch die Konvertierung von KI-Modellen in das RKNN-Format können Entwickler Inferenz direkt auf der NPU ausführen. Dies macht RKNN-Modelle besonders nützlich für Computer Vision Aufgaben in Echtzeit, bei denen eine schnelle und effiziente Verarbeitung unerlässlich ist.
NPUs sind schneller und effizienter als CPUs und GPUs für KI-Aufgaben, da sie für die parallele Verarbeitung von neuronalen Netzwerken entwickelt wurden. Während CPUs Aufgaben Schritt für Schritt verarbeiten und GPUs die Arbeitslast auf mehrere Kerne verteilen, sind NPUs für die effizientere Durchführung von KI-spezifischen Berechnungen optimiert.
Dadurch laufen RKNN-Modelle schneller und verbrauchen weniger Strom, wodurch sie sich ideal für batteriebetriebene Geräte, intelligente Kameras, industrielle Automatisierung und andere Edge-KI-Anwendungen eignen, die Entscheidungen in Echtzeit erfordern.
Ultralytics YOLO (You Only Look Once) Modelle sind für Echtzeit-Computer-Vision-Aufgaben wie Objekterkennung, Instanzsegmentierung und Bildklassifizierung konzipiert. Sie sind bekannt für ihre Geschwindigkeit, Genauigkeit und Effizienz und werden in Branchen wie Landwirtschaft, Fertigung, Gesundheitswesen und autonomen Systemen eingesetzt.
Diese Modelle haben sich im Laufe der Zeit erheblich verbessert. Zum Beispiel hat Ultralytics YOLOv5 die Objekterkennung mit PyTorch einfacher gemacht. Dann fügte Ultralytics YOLOv8 neue Funktionen wie Pose-Schätzung und Bildklassifizierung hinzu. Jetzt geht YOLO11 noch einen Schritt weiter, indem es die Genauigkeit erhöht und gleichzeitig weniger Ressourcen verbraucht. Tatsächlich schneidet YOLO11m auf dem COCO-Datensatz besser ab und verbraucht dabei 22 % weniger Parameter als YOLOv8m, was es sowohl präziser als auch effizienter macht.
Ultralytics YOLO-Modelle unterstützen auch den Export in verschiedene Formate, was eine flexible Bereitstellung auf unterschiedlichen Plattformen ermöglicht. Zu diesen Formaten gehören ONNX, TensorRT, CoreML und OpenVINO, wodurch Entwickler die Möglichkeit haben, die Leistung basierend auf ihrer Zielhardware zu optimieren.
Durch die zusätzliche Unterstützung für den Export von YOLO11 in das RKNN-Modellformat kann YOLO11 nun die NPUs von Rockchip nutzen. Das kleinste Modell, YOLO11n im RKNN-Format, erreicht eine beeindruckende Inferenzzeit von 99,5 ms pro Bild, was eine Echtzeitverarbeitung selbst auf eingebetteten Geräten ermöglicht.
Derzeit können YOLO11-Objekterkennungsmodelle in das RKNN-Format exportiert werden. Bleiben Sie außerdem dran - wir arbeiten daran, in zukünftigen Updates Unterstützung für andere Computer-Vision-Aufgaben und INT8-Quantisierung hinzuzufügen.
Das Exportieren von YOLO11 in das RKNN-Format ist ein unkomplizierter Prozess. Sie können Ihr benutzerdefiniert trainiertes YOLO11-Modell laden, die Zielplattform von Rockchip angeben und es mit wenigen Codezeilen in das RKNN-Format konvertieren. Das RKNN-Format ist mit verschiedenen Rockchip SoCs kompatibel, darunter RK3588, RK3566 und RK3576, wodurch eine breite Hardwareunterstützung gewährleistet wird.
Nach dem Export kann das RKNN-Modell auf Rockchip-basierten Geräten eingesetzt werden. Um das Modell bereitzustellen, laden Sie einfach die exportierte RKNN-Datei auf Ihr Rockchip-Gerät und führen die Inferenz aus – den Prozess der Verwendung des trainierten KI-Modells zur Analyse neuer Bilder oder Videos und zur Erkennung von Objekten in Echtzeit. Mit nur wenigen Codezeilen können Sie mit der Identifizierung von Objekten aus Bildern oder Videostreams beginnen.
Um eine bessere Vorstellung davon zu bekommen, wo YOLO11 in der realen Welt auf Rockchip-basierten Geräten eingesetzt werden kann, wollen wir uns einige wichtige Edge-KI-Anwendungen ansehen.
Rockchip-Prozessoren werden häufig in Android-basierten Tablets, Entwicklungsboards und industriellen KI-Systemen eingesetzt. Mit Unterstützung für Android, Linux und Python können Sie auf einfache Weise Vision-AI-gesteuerte Lösungen für eine Vielzahl von Branchen entwickeln und bereitstellen.
Eine gängige Anwendung, bei der YOLO11 auf Rockchip-basierten Geräten ausgeführt wird, sind robuste Tablets. Es handelt sich um widerstandsfähige, leistungsstarke Tablets, die für raue Umgebungen wie Lagerhallen, Baustellen und industrielle Umgebungen entwickelt wurden. Diese Tablets können Objekterkennung nutzen, um die Effizienz und Sicherheit zu verbessern.
In der Lagerlogistik können Mitarbeiter beispielsweise ein Rockchip-basiertes Tablet mit YOLO11 verwenden, um den Lagerbestand automatisch zu scannen und zu erkennen, wodurch menschliche Fehler reduziert und die Bearbeitungszeiten beschleunigt werden. Auf Baustellen können diese Tablets in ähnlicher Weise verwendet werden, um zu erkennen, ob Arbeiter die erforderliche Sicherheitsausrüstung wie Helme und Westen tragen, was Unternehmen hilft, Vorschriften durchzusetzen und Unfälle zu verhindern.
In Bezug auf Fertigung und Automatisierung können Rockchip-basierte Industrieplatinen eine große Rolle bei der Qualitätskontrolle und Prozessüberwachung spielen. Eine Industrieplatine ist ein kompaktes, leistungsstarkes Rechenmodul, das für eingebettete Systeme in industriellen Umgebungen entwickelt wurde. Diese Platinen umfassen typischerweise Prozessoren, Speicher, E/A-Schnittstellen und Konnektivitätsoptionen, die in Sensoren, Kameras und automatisierte Maschinen integriert werden können.
Der Einsatz von YOLO11-Modellen auf diesen Boards ermöglicht die Echtzeitanalyse von Produktionslinien, wodurch Probleme sofort erkannt und die Effizienz gesteigert werden können. In der Automobilherstellung kann beispielsweise ein KI-System mit Rockchip-Hardware und YOLO11 Kratzer, falsch ausgerichtete Teile oder Lackfehler erkennen, während sich die Autos auf dem Montageband bewegen. Durch die Echtzeitidentifizierung dieser Mängel können Hersteller Ausschuss reduzieren, Produktionskosten senken und höhere Qualitätsstandards gewährleisten, bevor die Fahrzeuge die Kunden erreichen.
Rockchip-basierte Geräte bieten ein gutes Gleichgewicht zwischen Leistung, Kosten und Effizienz und sind daher eine gute Wahl für den Einsatz von YOLO11 in Edge-KI-Anwendungen.
Hier sind einige Vorteile der Ausführung von YOLO11 auf Rockchip-basierten Geräten:
Ultralytics YOLO11 kann effizient auf Rockchip-basierten Geräten laufen, indem es die Hardwarebeschleunigung und das RKNN-Format nutzt. Dies reduziert die Inferenzzeit und verbessert die Leistung, wodurch es ideal für Echtzeit-Computer-Vision-Aufgaben und Edge-KI-Anwendungen geeignet ist.
Das RKNN-Toolkit bietet wichtige Optimierungswerkzeuge wie Quantisierung und Feinabstimmung, um sicherzustellen, dass YOLO11-Modelle auf Rockchip-Plattformen gut funktionieren. Die Optimierung von Modellen für eine effiziente On-Device-Verarbeitung wird mit zunehmender Verbreitung von Edge-KI unerlässlich sein. Mit den richtigen Werkzeugen und der richtigen Hardware können Entwickler neue Möglichkeiten für Computer-Vision-Lösungen in verschiedenen Branchen erschließen.
Treten Sie unserer Community bei und erkunden Sie unser GitHub-Repository, um mehr über KI zu erfahren. Sehen Sie sich auf unseren Lösungsseiten an, wie Computer Vision in der Landwirtschaft und KI im Gesundheitswesen Innovationen vorantreiben. Sehen Sie sich auch unsere Lizenzoptionen an, um noch heute mit der Entwicklung Ihrer Vision AI-Lösungen zu beginnen!
.webp)
