Bereitstellung von Ultralytics YOLO11 auf Rockchip für effiziente Edge AI

Ein aktuelles Modewort in der KI-Community ist Edge-AI, insbesondere im Bereich der computer vision. Mit dem Wachstum KI-gesteuerter Anwendungen wächst auch der Bedarf, Modelle effizient auf eingebetteten Geräten mit begrenzter Leistung und begrenzten Rechenressourcen auszuführen.

Drohnen nutzen beispielsweise Vision-KI für die Echtzeit-Navigation, smarte Kameras erkennen Objekte sofort und industrielle Automatisierungssysteme führen Qualitätskontrollen durch, ohne auf Cloud-Computing angewiesen zu sein. Diese Anwendungen erfordern eine schnelle, effiziente KI-Verarbeitung direkt auf Edge-Geräten, um Echtzeitleistung und geringe Latenz zu gewährleisten. Das Ausführen von KI-Modellen auf Edge-Geräten ist jedoch nicht immer einfach. KI-Modelle benötigen oft mehr Leistung und Arbeitsspeicher, als viele Edge-Geräte bieten können.

Das RKNN Toolkit von Rockchip hilft bei der Lösung dieses Problems, indem es Deep-Learning-Modelle für Rockchip-basierte Geräte optimiert. Es nutzt dedizierte Neural Processing Units (NPUs), um die Inferenz zu beschleunigen und im Vergleich zur CPU- oder GPU-Verarbeitung Latenz sowie Stromverbrauch zu senken.

Die Vision AI-Community war gespannt darauf, Ultralytics YOLO11 auf Geräten mit Rockchip auszuführen, und wir haben euch gehört. Wir haben Unterstützung für das exporting YOLO11 to RKNN-Modellformat hinzugefügt. In diesem Artikel untersuchen wir, wie der Export nach RKNN funktioniert und warum die Bereitstellung von YOLO11 auf Geräten mit Rockchip einen Wendepunkt darstellt.

Was sind Rockchip und das RKNN Toolkit?#

Rockchip ist ein Unternehmen, das System-on-Chips (SoCs) entwickelt – winzige und dennoch leistungsstarke Prozessoren, die viele eingebettete Geräte antreiben. Diese Chips kombinieren eine CPU, eine GPU und eine Neural Processing Unit (NPU), um alles von allgemeinen Rechenaufgaben bis hin zu Vision-AI-Anwendungen zu bewältigen, die auf object detection und Bildverarbeitung basieren.

Rockchip-SoCs werden in einer Vielzahl von Geräten eingesetzt, darunter Einplatinencomputer (SBCs), Entwicklungsboards, industrielle KI-Systeme und intelligente Kameras. Viele bekannte Hardwarehersteller wie Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas und Banana Pi bauen Geräte, die mit Rockchip-SoCs betrieben werden. Diese Boards sind für edge AI- und Computer-Vision-Anwendungen beliebt, da sie eine Balance aus Leistung, Energieeffizienz und Erschwinglichkeit bieten.

Abb. 1: Ein Beispiel für ein von Rockchip angetriebenes Gerät.

Um KI-Modelle effizient auf diesen Geräten auszuführen, stellt Rockchip das RKNN (Rockchip Neural Network) Toolkit bereit. Es ermöglicht Entwicklern, Deep-Learning-Modelle zu konvertieren und zu optimieren, um die Neural Processing Units (NPUs) von Rockchip zu nutzen.

RKNN-Modelle sind für Inferenz mit geringer Latenz und effizienten Stromverbrauch optimiert. Durch die Konvertierung von Modellen in das RKNN-Format können Entwickler schnellere Verarbeitungsgeschwindigkeiten, einen reduzierten Stromverbrauch und eine verbesserte Effizienz auf Rockchip-basierten Geräten erreichen.

RKNN-Modelle sind optimiert#

Schauen wir uns genauer an, wie RKNN-Modelle die KI-Leistung auf Rockchip-fähigen Geräten verbessern.

Im Gegensatz zu CPUs und GPUs, die eine Vielzahl von Rechenaufgaben bewältigen, sind die NPUs von Rockchip speziell für Deep Learning entwickelt worden. Durch die Konvertierung von KI-Modellen in das RKNN-Format können Entwickler Inferenzen direkt auf der NPU ausführen. Dies macht RKNN-Modelle besonders nützlich für Echtzeit-computer vision tasks, bei denen eine schnelle und effiziente Verarbeitung unerlässlich ist.

NPUs sind für KI-Aufgaben schneller und effizienter als CPUs und GPUs, da sie für die parallele Verarbeitung neuronaler Netzberechnungen gebaut sind. Während CPUs Aufgaben nacheinander bearbeiten und GPUs Arbeitslasten auf mehrere Kerne verteilen, sind NPUs darauf optimiert, KI-spezifische Berechnungen effizienter durchzuführen.

Dadurch laufen RKNN-Modelle schneller und verbrauchen weniger Strom, was sie ideal für batteriebetriebene Geräte, smarte Kameras, industrielle Automatisierung und andere Edge-KI-Anwendungen macht, die Entscheidungen in Echtzeit erfordern.

Überblick über die Ultralytics YOLO-Modelle#

Ultralytics YOLO (You Only Look Once) models sind für Echtzeit-Computer-Vision-Aufgaben wie Objekterkennung, Instanzsegmentierung und Bildklassifizierung konzipiert. Sie sind bekannt für ihre Geschwindigkeit, Genauigkeit und Effizienz und werden branchenübergreifend in Bereichen wie Landwirtschaft, Fertigung, Gesundheitswesen und autonomen Systemen eingesetzt.

Diese Modelle haben sich im Laufe der Zeit erheblich verbessert. Beispielsweise machte Ultralytics YOLOv5 die Objekterkennung mit PyTorch benutzerfreundlicher. Danach fügte Ultralytics YOLOv8 neue Funktionen wie Posen-Schätzung und Bildklassifizierung hinzu. Jetzt geht YOLO11 noch einen Schritt weiter, indem es die Genauigkeit erhöht und gleichzeitig weniger Ressourcen verbraucht. Tatsächlich erzielt YOLO11m im COCO-Datensatz eine bessere Leistung bei 22 % weniger Parametern als YOLOv8m, was es sowohl präziser als auch effizienter macht.

Abb. 2: Objekterkennung mit Ultralytics YOLO11.

Ultralytics YOLO-Modelle unterstützen auch das exporting in mehrere Formate, was eine flexible Bereitstellung über verschiedene Plattformen hinweg ermöglicht. Zu diesen Formaten gehören ONNX, TensorRT, CoreML und OpenVINO, wodurch Entwickler die Freiheit haben, die Leistung basierend auf ihrer Zielhardware zu optimieren.

Mit der zusätzlichen Unterstützung für den Export von YOLO11 in das RKNN-Modellformat kann YOLO11 nun die NPUs von Rockchip nutzen. Das kleinste Modell, YOLO11n im RKNN-Format, erreicht eine beeindruckende Inferenzzeit von 99,5 ms pro Bild und ermöglicht so eine Echtzeitverarbeitung selbst auf eingebetteten Geräten.

Exportiere dein Ultralytics YOLO11-Modell in das RKNN-Format#

Derzeit können Ultralytics YOLO11 Objekterkennungsmodelle in das RKNN Format exportiert werden. Bleib auch dran – wir arbeiten in zukünftigen Updates an der Unterstützung für weitere Computer Vision Aufgaben und die INT8-Quantisierung.

Das Exportieren von Ultralytics YOLO11 in das RKNN-Format ist ein unkomplizierter Prozess. Du kannst dein custom-trained YOLO11-Modell laden, die Zielplattform von Rockchip angeben und es mit wenigen Zeilen Code in das RKNN-Format konvertieren. Das RKNN-Format ist mit verschiedenen Rockchip-SoCs kompatibel, darunter RK3588, RK3566 und RK3576, was eine breite Hardware-Unterstützung gewährleistet.

Abb. 3: Exportieren von Ultralytics YOLO11 in das RKNN-Modellformat.

Bereitstellen von Ultralytics YOLO11 auf Geräten mit Rockchip#

Nach dem Export kann das RKNN-Modell auf Rockchip-basierten Geräten bereitgestellt werden. Um das Modell bereitzustellen, lädst du einfach die exportierte RKNN-Datei auf dein Rockchip-Gerät und führst die Inferenz aus – den Prozess, bei dem das trainierte KI-Modell verwendet wird, um neue Bilder oder Videos zu analysieren und Objekte in Echtzeit zu erkennen. Mit nur wenigen Zeilen Code kannst du beginnen, Objekte aus Bildern oder Videoströmen zu identifizieren.

Abb. 4. Ausführen einer Inferenz mit dem exportierten RKNN-Modell.

Edge-AI-Anwendungen von Ultralytics YOLO11 und Rockchip#

Um eine bessere Vorstellung davon zu bekommen, wo Ultralytics YOLO11 auf Rockchip-basierten Geräten in der Praxis eingesetzt werden kann, schauen wir uns einige wichtige Edge-AI-Anwendungen an.

Rockchip-Prozessoren werden häufig in Android-basierten Tablets, Entwicklerboards und industriellen KI-Systemen verwendet. Mit der Unterstützung für Android, Linux und Python kannst du problemlos Vision-KI-gesteuerte Lösungen für eine Vielzahl von Branchen entwickeln und bereitstellen.

Robust Tablets mit integriertem Ultralytics YOLO11#

Eine gängige Anwendung, bei der Ultralytics YOLO11 auf Rockchip-basierten Geräten läuft, sind robuste Tablets. Hierbei handelt es sich um langlebige, leistungsstarke Tablets, die für raue Umgebungen wie Lagerhallen, Baustellen und industrielle Bereiche entwickelt wurden. Diese Tablets können die Objekterkennung nutzen, um Effizienz und Sicherheit zu verbessern.

In der warehouse logistics können Arbeiter beispielsweise ein von Rockchip angetriebenes Tablet mit YOLO11 verwenden, um den Bestand automatisch zu scannen und zu erkennen, wodurch menschliche Fehler reduziert und die Verarbeitungszeiten verkürzt werden. Ähnlich können diese Tablets auf Baustellen verwendet werden, um zu erkennen, ob Arbeiter die vorgeschriebene Schutzausrüstung wie Helme und Westen tragen, was Unternehmen dabei hilft, Vorschriften durchzusetzen und Unfälle zu verhindern.

Fig 5. Erkennung von Schutzausrüstung mit Ultralytics YOLO11.

Industrielle KI für die Qualitätskontrolle#

Im Bereich Fertigung und Automatisierung können Rockchip-basierte Industrieboards eine große Rolle bei der Qualitätskontrolle und Prozessüberwachung spielen. Ein Industrieboard ist ein kompaktes Hochleistungs-Computing-Modul, das für eingebettete Systeme in industriellen Umgebungen entwickelt wurde. Diese Boards verfügen in der Regel über Prozessoren, Arbeitsspeicher, E/A-Schnittstellen und Konnektivitätsoptionen, die in Sensoren, Kameras und automatisierte Maschinen integriert werden können.

Das Ausführen von Ultralytics YOLO11-Modellen auf diesen Boards ermöglicht es, Produktionslinien in Echtzeit zu analysieren, Probleme sofort zu erkennen und die Effizienz zu steigern. Beispielsweise kann ein KI-System unter Verwendung von Rockchip-Hardware und YOLO11 in der Automobilproduktion Kratzer, falsch ausgerichtete Teile oder Lackfehler erkennen, während sich Fahrzeuge am Fließband entlangbewegen. Indem Hersteller diese Mängel in Echtzeit identifizieren, können sie Ausschuss reduzieren, die Produktionskosten senken und höhere Qualitätsstandards sicherstellen, bevor die Fahrzeuge die Kundschaft erreichen.

Vorteile der Ausführung von Ultralytics YOLO11 auf Rockchip-basierten Geräten#

Rockchip-basierte Geräte bieten ein gutes Verhältnis von Leistung, Kosten und Effizienz, was sie zu einer großartigen Wahl für die Bereitstellung von Ultralytics YOLO11 in Edge-AI-Anwendungen macht.

Hier sind einige Vorteile der Ausführung von Ultralytics YOLO11 auf Rockchip-basierten Geräten:

• Verbesserte AI performance: Von Rockchip unterstützte Geräte verarbeiten KI-Inferenz effizienter als CPU-basierte Boards wie Raspberry Pi, was eine schnellere Objekterkennung und eine geringere Latenz ermöglicht.
• Kostengünstige Lösung: Wenn du mit KI experimentierst und eine budgetfreundliche Option suchst, die dennoch eine starke Leistung liefert, ist Rockchip eine großartige Wahl. Es bietet eine erschwingliche Möglichkeit, Ultralytics YOLO11 ohne Abstriche bei Geschwindigkeit oder Effizienz auszuführen.
• Energieeffizienz: Das Ausführen von Computer-Vision-Modellen auf Rockchip-basierten Geräten verbraucht weniger Strom als GPUs, was sie ideal für batteriebetriebene Geräte und eingebettete KI-Anwendungen macht.

Wichtige Erkenntnisse#

Ultralytics YOLO11 kann durch die Nutzung von Hardwarebeschleunigung und dem RKNN-Format effizient auf Rockchip-basierten Geräten ausgeführt werden. Dies reduziert die Inferenzzeit und verbessert die Leistung, was es ideal für Echtzeit-Computer-Vision-Aufgaben und Edge-KI-Anwendungen macht.

Das RKNN Toolkit bietet wichtige Optimierungswerkzeuge wie Quantisierung und Feinabstimmung, die sicherstellen, dass Ultralytics YOLO11 Modelle auf Rockchip-Plattformen gute Leistung bringen. Die Optimierung von Modellen für eine effiziente On-Device-Verarbeitung wird mit zunehmender Verbreitung von Edge AI unerlässlich sein. Mit den richtigen Werkzeugen und der passenden Hardware können Entwickler neue Möglichkeiten für Computer-Vision-Lösungen in verschiedenen Branchen erschließen.

Tritt our community bei und erkunde unser GitHub repository, um mehr über KI zu erfahren. Sieh dir an, wie computer vision in agriculture und AI in healthcare Innovationen vorantreiben, indem du unsere Lösungsseiten besuchst. Sieh dir auch unsere licensing options an, um noch heute mit der Entwicklung deiner Vision-AI-Lösungen zu beginnen!