Bereitstellung von Ultralytics YOLO11 auf Rockchip für effiziente Edge AI

Ein aktuelles Schlagwort in der KI-Community ist Edge-KI, insbesondere wenn es um Computer Vision geht. Mit dem Wachstum KI-gestützter Anwendungen steigt der Bedarf, Modelle effizient auf eingebetteten Geräten mit begrenzter Leistung und begrenzten Rechenressourcen auszuführen.

Drohnen nutzen beispielsweise Vision-KI für die Echtzeit-Navigation, smarte Kameras erkennen Objekte sofort und industrielle Automatisierungssysteme führen Qualitätskontrollen durch, ohne auf Cloud-Computing angewiesen zu sein. Diese Anwendungen erfordern eine schnelle, effiziente KI-Verarbeitung direkt auf Edge-Geräten, um Echtzeitleistung und geringe Latenz zu gewährleisten. Das Ausführen von KI-Modellen auf Edge-Geräten ist jedoch nicht immer einfach. KI-Modelle benötigen oft mehr Leistung und Arbeitsspeicher, als viele Edge-Geräte bieten können.

Das RKNN Toolkit von Rockchip hilft bei der Lösung dieses Problems, indem es Deep-Learning-Modelle für Rockchip-basierte Geräte optimiert. Es nutzt dedizierte Neural Processing Units (NPUs), um die Inferenz zu beschleunigen und im Vergleich zur CPU- oder GPU-Verarbeitung Latenz sowie Stromverbrauch zu senken.

Die Vision-KI-Community wollte schon lange Ultralytics YOLO11 auf Rockchip-basierten Geräten ausführen, und wir haben euch gehört. Wir haben Unterstützung für den Export von YOLO11 in das RKNN-Modellformat hinzugefügt. In diesem Artikel untersuchen wir, wie der Export nach RKNN funktioniert und warum die Bereitstellung von YOLO11 auf Rockchip-basierten Geräten ein echter Wendepunkt ist.

Link to this sectionWas sind Rockchip und das RKNN Toolkit?#

Rockchip ist ein Unternehmen, das System-on-Chips (SoCs) entwickelt – kleine, aber leistungsstarke Prozessoren, die in vielen eingebetteten Geräten zum Einsatz kommen. Diese Chips kombinieren CPU, GPU und eine Neural Processing Unit (NPU), um alles von allgemeinen Rechenaufgaben bis hin zu Vision-KI-Anwendungen zu bewältigen, die auf Objekterkennung und Bildverarbeitung basieren.

Rockchip SoCs werden in einer Vielzahl von Geräten verwendet, darunter Single-Board-Computer (SBCs), Entwicklerboards, industrielle KI-Systeme und smarte Kameras. Viele bekannte Hardwarehersteller wie Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas und Banana Pi bauen Geräte, die von Rockchip SoCs angetrieben werden. Diese Boards sind beliebt für Edge-KI und Computer-Vision-Anwendungen, da sie ein Gleichgewicht aus Leistung, Energieeffizienz und Erschwinglichkeit bieten.

Fig 1. Ein Beispiel für ein Gerät mit Rockchip-Prozessor.

Um KI-Modelle effizient auf diesen Geräten auszuführen, stellt Rockchip das RKNN (Rockchip Neural Network) Toolkit bereit. Es ermöglicht Entwicklern, Deep-Learning-Modelle zu konvertieren und zu optimieren, um die Neural Processing Units (NPUs) von Rockchip zu nutzen.

RKNN-Modelle sind für Inferenz mit geringer Latenz und effizienten Stromverbrauch optimiert. Durch die Konvertierung von Modellen in das RKNN-Format können Entwickler schnellere Verarbeitungsgeschwindigkeiten, einen reduzierten Stromverbrauch und eine verbesserte Effizienz auf Rockchip-basierten Geräten erreichen.

Link to this sectionRKNN-Modelle sind optimiert#

Schauen wir uns genauer an, wie RKNN-Modelle die KI-Leistung auf Rockchip-fähigen Geräten verbessern.

Im Gegensatz zu CPUs und GPUs, die eine Vielzahl von Rechenaufgaben bewältigen, wurden die NPUs von Rockchip speziell für Deep Learning entwickelt. Durch die Konvertierung von KI-Modellen in das RKNN-Format können Entwickler Inferenzen direkt auf der NPU ausführen. Dies macht RKNN-Modelle besonders nützlich für Echtzeit-Computer-Vision-Aufgaben, bei denen eine schnelle und effiziente Verarbeitung entscheidend ist.

NPUs sind für KI-Aufgaben schneller und effizienter als CPUs und GPUs, da sie für die parallele Verarbeitung neuronaler Netzberechnungen gebaut sind. Während CPUs Aufgaben nacheinander bearbeiten und GPUs Arbeitslasten auf mehrere Kerne verteilen, sind NPUs darauf optimiert, KI-spezifische Berechnungen effizienter durchzuführen.

Dadurch laufen RKNN-Modelle schneller und verbrauchen weniger Strom, was sie ideal für batteriebetriebene Geräte, smarte Kameras, industrielle Automatisierung und andere Edge-KI-Anwendungen macht, die Entscheidungen in Echtzeit erfordern.

Link to this sectionÜberblick über die Ultralytics YOLO-Modelle#

Ultralytics YOLO (You Only Look Once) Modelle sind für Computer-Vision-Aufgaben in Echtzeit wie Objekterkennung, Instanzsegmentierung und Bildklassifizierung konzipiert. Sie sind für ihre Geschwindigkeit, Genauigkeit und Effizienz bekannt und werden branchenübergreifend in Bereichen wie Landwirtschaft, Fertigung, Gesundheitswesen und autonomen Systemen eingesetzt.

Diese Modelle haben sich im Laufe der Zeit erheblich verbessert. Beispielsweise machte Ultralytics YOLOv5 die Objekterkennung mit PyTorch einfacher. Dann fügte Ultralytics YOLOv8 neue Funktionen wie Pose-Schätzung und Bildklassifizierung hinzu. Jetzt geht YOLO11 noch einen Schritt weiter und steigert die Genauigkeit bei geringerem Ressourcenverbrauch. Tatsächlich erzielt YOLO11m auf dem COCO-Datensatz bessere Ergebnisse bei 22 % weniger Parametern als YOLOv8m, was es sowohl präziser als auch effizienter macht.

Abb. 2. Objekterkennung mit YOLO11.

Ultralytics YOLO-Modelle unterstützen außerdem den Export in verschiedene Formate, was eine flexible Bereitstellung auf unterschiedlichen Plattformen ermöglicht. Zu diesen Formaten gehören ONNX, TensorRT, CoreML und OpenVINO, wodurch Entwickler die Freiheit haben, die Leistung basierend auf ihrer Zielhardware zu optimieren.

Mit der zusätzlichen Unterstützung für den Export von YOLO11 in das RKNN-Modellformat kann YOLO11 nun die NPUs von Rockchip nutzen. Das kleinste Modell, YOLO11n im RKNN-Format, erreicht eine beeindruckende Inferenzzeit von 99,5 ms pro Bild und ermöglicht so eine Echtzeitverarbeitung selbst auf eingebetteten Geräten.

Link to this sectionExportieren deines YOLO11-Modells in das RKNN-Format#

Derzeit können YOLO11-Objekterkennungsmodelle in das RKNN-Format exportiert werden. Bleib dran – wir arbeiten daran, in zukünftigen Updates Unterstützung für weitere Computer-Vision-Aufgaben und INT8-Quantisierung hinzuzufügen.

Der Export von YOLO11 in das RKNN-Format ist ein unkomplizierter Prozess. Du kannst dein benutzerdefiniertes YOLO11-Modell laden, die Ziel-Rockchip-Plattform angeben und es mit wenigen Zeilen Code in das RKNN-Format konvertieren. Das RKNN-Format ist mit verschiedenen Rockchip SoCs kompatibel, einschließlich RK3588, RK3566 und RK3576, was eine breite Hardwareunterstützung sicherstellt.

Abb. 3. Export von YOLO11 in das RKNN-Modellformat.

Link to this sectionBereitstellung von YOLO11 auf Rockchip-basierten Geräten#

Nach dem Export kann das RKNN-Modell auf Rockchip-basierten Geräten bereitgestellt werden. Um das Modell bereitzustellen, lädst du einfach die exportierte RKNN-Datei auf dein Rockchip-Gerät und führst die Inferenz aus – den Prozess, bei dem das trainierte KI-Modell verwendet wird, um neue Bilder oder Videos zu analysieren und Objekte in Echtzeit zu erkennen. Mit nur wenigen Zeilen Code kannst du beginnen, Objekte aus Bildern oder Videoströmen zu identifizieren.

Abb. 4. Ausführen einer Inferenz mit dem exportierten RKNN-Modell.

Link to this sectionEdge-KI-Anwendungen von YOLO11 und Rockchip#

Um eine bessere Vorstellung davon zu bekommen, wo YOLO11 auf Rockchip-fähigen Geräten in der Praxis eingesetzt werden kann, gehen wir einige wichtige Edge-KI-Anwendungen durch.

Rockchip-Prozessoren werden häufig in Android-basierten Tablets, Entwicklerboards und industriellen KI-Systemen verwendet. Mit der Unterstützung für Android, Linux und Python kannst du problemlos Vision-KI-gesteuerte Lösungen für eine Vielzahl von Branchen entwickeln und bereitstellen.

Link to this sectionRobuste Tablets mit integriertem YOLO11#

Eine häufige Anwendung, bei der YOLO11 auf Rockchip-basierten Geräten ausgeführt wird, sind robuste Tablets. Dabei handelt es sich um langlebige Hochleistungstablets, die für raue Umgebungen wie Lagerhäuser, Baustellen und industrielle Umgebungen entwickelt wurden. Diese Tablets können Objekterkennung nutzen, um Effizienz und Sicherheit zu verbessern.

In der Lagerlogistik können Arbeiter beispielsweise ein Rockchip-basiertes Tablet mit YOLO11 verwenden, um Inventar automatisch zu scannen und zu erkennen, wodurch menschliche Fehler reduziert und Verarbeitungszeiten verkürzt werden. Ähnlich können diese Tablets auf Baustellen eingesetzt werden, um zu erkennen, ob Arbeiter die vorgeschriebene Sicherheitsausrüstung wie Helme und Westen tragen, was Unternehmen dabei hilft, Vorschriften durchzusetzen und Unfälle zu verhindern.

Abb. 5. Erkennung von Sicherheitsausrüstung mit YOLO11.

Link to this sectionIndustrielle KI für die Qualitätskontrolle#

Im Bereich Fertigung und Automatisierung können Rockchip-basierte Industrieboards eine große Rolle bei der Qualitätskontrolle und Prozessüberwachung spielen. Ein Industrieboard ist ein kompaktes Hochleistungs-Computing-Modul, das für eingebettete Systeme in industriellen Umgebungen entwickelt wurde. Diese Boards verfügen in der Regel über Prozessoren, Arbeitsspeicher, E/A-Schnittstellen und Konnektivitätsoptionen, die in Sensoren, Kameras und automatisierte Maschinen integriert werden können.

Das Ausführen von YOLO11-Modellen auf diesen Boards ermöglicht es, Produktionslinien in Echtzeit zu analysieren, Probleme sofort zu erkennen und die Effizienz zu verbessern. In der Automobilfertigung kann beispielsweise ein KI-System, das Rockchip-Hardware und YOLO11 verwendet, Kratzer, falsch ausgerichtete Teile oder Lackfehler erkennen, während Autos das Montageband entlanglaufen. Durch die Identifizierung dieser Mängel in Echtzeit können Hersteller Abfall reduzieren, Produktionskosten senken und höhere Qualitätsstandards sicherstellen, bevor Fahrzeuge den Kunden erreichen.

Link to this sectionVorteile der Ausführung von YOLO11 auf Rockchip-basierten Geräten#

Rockchip-basierte Geräte bieten ein gutes Gleichgewicht zwischen Leistung, Kosten und Effizienz, was sie zu einer großartigen Wahl für die Bereitstellung von YOLO11 in Edge-KI-Anwendungen macht.

Hier sind einige Vorteile des Betriebs von YOLO11 auf Rockchip-basierten Geräten:

• Verbesserte KI-Leistung: Rockchip-fähige Geräte handhaben KI-Inferenz effizienter als CPU-basierte Boards wie Raspberry Pi und liefern eine schnellere Objekterkennung sowie eine geringere Latenz.
• Kostengünstige Lösung: Wenn du mit KI experimentierst und eine budgetfreundliche Option benötigst, die dennoch leistungsstarke Ergebnisse liefert, ist Rockchip eine großartige Wahl. Es bietet eine erschwingliche Möglichkeit, YOLO11 auszuführen, ohne Kompromisse bei Geschwindigkeit oder Effizienz einzugehen.
• Energieeffizienz: Das Ausführen von Computer-Vision-Modellen auf Rockchip-basierten Geräten verbraucht weniger Strom als GPUs, was sie ideal für batteriebetriebene Geräte und eingebettete KI-Anwendungen macht.

Link to this sectionWichtige Erkenntnisse#

Ultralytics YOLO11 kann durch die Nutzung von Hardwarebeschleunigung und dem RKNN-Format effizient auf Rockchip-basierten Geräten ausgeführt werden. Dies reduziert die Inferenzzeit und verbessert die Leistung, was es ideal für Echtzeit-Computer-Vision-Aufgaben und Edge-KI-Anwendungen macht.

Das RKNN Toolkit bietet wichtige Optimierungstools wie Quantisierung und Feinabstimmung, die sicherstellen, dass YOLO11-Modelle auf Rockchip-Plattformen gut funktionieren. Die Optimierung von Modellen für eine effiziente Verarbeitung auf dem Gerät wird mit zunehmender Verbreitung von Edge-KI unerlässlich sein. Mit den richtigen Tools und der passenden Hardware können Entwickler neue Möglichkeiten für Computer-Vision-Lösungen in verschiedenen Branchen erschließen.

Tritt unserer Community bei und erkunde unser GitHub-Repository, um mehr über KI zu erfahren. Sieh dir auf unseren Lösungsseiten an, wie Computer Vision in der Landwirtschaft und KI im Gesundheitswesen Innovationen vorantreiben. Schau dir außerdem unsere Lizenzoptionen an, um noch heute mit der Entwicklung deiner Vision-KI-Lösungen zu beginnen!