Ultralytics YOLO11 effizient auf Rockchip für Edge AI bereitstellen

Ein aktuelles Schlagwort in der KI-Community ist Edge AI, insbesondere im Bereich Computer Vision. Mit der zunehmenden Verbreitung KI-gestützter Anwendungen steigt auch der Bedarf, Modelle effizient auf eingebetteten Geräten mit begrenzter Leistung und Rechenkapazität auszuführen.

Drohnen nutzen beispielsweise Vision AI zur Navigation in Echtzeit, intelligente Kameras erkennen Objekte sofort und industrielle Automatisierungssysteme führen Qualitätskontrollen durch, ohne auf Cloud-Computing angewiesen zu sein. Diese Anwendungen erfordern eine schnelle, effiziente KI-Verarbeitung direkt auf Edge-Geräten, um Echtzeitleistung und geringe Latenz sicherzustellen. KI-Modelle auf Edge-Geräten auszuführen, ist jedoch nicht immer einfach. KI-Modelle benötigen oft mehr Leistung und Speicher, als viele Edge-Geräte bereitstellen können.

Das RKNN Toolkit von Rockchip hilft, dieses Problem zu lösen, indem es Deep-Learning-Modelle für Geräte mit Rockchip-Chips optimiert. Es nutzt dedizierte neuronale Verarbeitungseinheiten (NPUs), um die Inferenz zu beschleunigen und im Vergleich zur Verarbeitung auf CPU oder GPU Latenz und Stromverbrauch zu senken.

Die Vision-AI-Community wollte schon lange Ultralytics YOLO11 auf Geräten mit Rockchip-Chips ausführen, und wir haben euch gehört. Wir haben die Unterstützung für den Export von YOLO11 ins RKNN-Modellformat hinzugefügt. In diesem Artikel sehen wir uns an, wie der Export ins RKNN-Format funktioniert und warum sich der Einsatz von YOLO11 auf Geräten mit Rockchip-Chips besonders für Edge AI eignet.

Was sind Rockchip und das RKNN Toolkit?#

Rockchip ist ein Unternehmen, das System-on-Chips (SoCs) entwickelt – kleine, aber leistungsstarke Prozessoren, die zahlreiche eingebettete Geräte antreiben. Diese Chips vereinen CPU, GPU und eine neuronale Verarbeitungseinheit (NPU), um alles von allgemeinen Rechenaufgaben bis hin zu Vision-AI-Anwendungen für Objekterkennung und Bildverarbeitung zu bewältigen.

Rockchip-SoCs kommen in verschiedensten Geräten zum Einsatz, darunter Einplatinencomputer (SBCs), Entwicklungsplatinen, industrielle KI-Systeme und intelligente Kameras. Zahlreiche bekannte Hardwarehersteller – Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas und Banana Pi – stellen Geräte mit Rockchip-SoCs her. Diese Platinen sind für Edge AI- und Computer-Vision-Anwendungen beliebt, da sie Leistung, Energieeffizienz und Erschwinglichkeit gut miteinander vereinen.

Abb. 1 Ein Beispiel für ein Gerät mit Rockchip-Prozessor.

Damit KI-Modelle effizient auf diesen Geräten laufen, stellt Rockchip das RKNN Toolkit (Rockchip Neural Network) bereit. Damit können Entwickler Deep-Learning-Modelle konvertieren und für die neuronalen Verarbeitungseinheiten (NPUs) von Rockchip optimieren.

RKNN-Modelle sind auf Inferenz mit geringer Latenz und effizienten Energieverbrauch ausgelegt. Durch die Konvertierung von Modellen ins RKNN-Format können Entwickler auf Geräten mit Rockchip-Prozessoren höhere Verarbeitungsgeschwindigkeiten, einen geringeren Stromverbrauch und eine bessere Effizienz erreichen.

RKNN-Modelle sind optimiert#

Sehen wir uns genauer an, wie RKNN-Modelle die KI-Leistung auf Geräten mit Rockchip verbessern.

Anders als CPUs und GPUs, die vielfältige Rechenaufgaben bewältigen, sind die NPUs von Rockchip speziell für Deep Learning ausgelegt. Durch die Konvertierung von KI-Modellen ins RKNN-Format können Entwickler Inferenz direkt auf der NPU ausführen. Dadurch eignen sich RKNN-Modelle besonders für Computer-Vision-Aufgaben in Echtzeit, bei denen schnelle und effiziente Verarbeitung entscheidend ist.

NPUs sind bei KI-Aufgaben schneller und effizienter als CPUs und GPUs, da sie für die parallele Verarbeitung neuronaler Netze entwickelt wurden. CPUs verarbeiten Aufgaben Schritt für Schritt, GPUs verteilen die Arbeitslast auf mehrere Kerne und NPUs sind darauf optimiert, KI-spezifische Berechnungen effizienter durchzuführen.

Dadurch arbeiten RKNN-Modelle schneller und verbrauchen weniger Strom. Das macht sie ideal für batteriebetriebene Geräte, intelligente Kameras, industrielle Automatisierung und andere Edge-AI-Anwendungen, die Entscheidungen in Echtzeit erfordern.

Überblick über die Ultralytics-YOLO-Modelle#

Ultralytics-YOLO-Modelle (You Only Look Once) sind für Computer-Vision-Aufgaben in Echtzeit wie Objekterkennung, Instanzsegmentierung und Bildklassifizierung ausgelegt. Sie sind für ihre Geschwindigkeit, Genauigkeit und Effizienz bekannt und kommen in zahlreichen Branchen zum Einsatz, darunter Landwirtschaft, Fertigung, Gesundheitswesen und autonome Systeme.

Diese Modelle wurden im Laufe der Zeit deutlich verbessert. So machte Ultralytics YOLOv5 die Objekterkennung mit PyTorch einfacher nutzbar. Anschließend führte Ultralytics YOLOv8 neue Aufgaben wie die Posenschätzung ein und vereinte Erkennung, Segmentierung, Klassifizierung und Posenschätzung in einem Framework. YOLO11 geht nun noch einen Schritt weiter: Es erhöht die Genauigkeit und benötigt gleichzeitig weniger Ressourcen. Tatsächlich erzielt YOLO11m auf dem COCO-Datensatz bessere Ergebnisse als YOLOv8m und verwendet dabei 22 % weniger Parameter, wodurch es sowohl präziser als auch effizienter ist.

Abb. 2. Objekterkennung mit Ultralytics YOLO11.

Ultralytics-YOLO-Modelle unterstützen auch den Export in verschiedene Formate und ermöglichen so eine flexible Bereitstellung auf unterschiedlichen Plattformen. Zu diesen Formaten zählen ONNX, TensorRT, CoreML und OpenVINO. So können Entwickler die Leistung passend zur jeweiligen Zielhardware optimieren.

Dank der hinzugefügten Unterstützung für den Export von YOLO11 ins RKNN-Modellformat kann YOLO11 nun die NPUs von Rockchip nutzen. Das kleinste Modell, YOLO11n im RKNN-Format, erreicht eine Inferenzzeit von 99,5 ms pro Bild und ermöglicht so die Echtzeitverarbeitung selbst auf eingebetteten Geräten.

Dein Ultralytics-YOLO11-Modell ins RKNN-Format exportieren#

Zum Zeitpunkt der Erstellung dieses Textes ließen sich Ultralytics-YOLO11-Modelle zur Objekterkennung ins RKNN-Format exportieren. Seitdem wurde der RKNN-Export auf alle Ultralytics-Aufgaben und die INT8-Quantisierung (quantize=8) ausgeweitet, wie im oben verlinkten Leitfaden zur RKNN-Integration beschrieben.

Der Export von Ultralytics YOLO11 ins RKNN-Format ist unkompliziert. Du kannst dein individuell trainiertes YOLO11-Modell laden, die Zielplattform von Rockchip angeben und es mit wenigen Codezeilen ins RKNN-Format konvertieren. Das RKNN-Format ist mit verschiedenen Rockchip-SoCs kompatibel, darunter RK3588, RK3566 und RK3576, und bietet damit breite Hardwareunterstützung.

Abb. 3. Export von Ultralytics YOLO11 ins RKNN-Modellformat.

Ultralytics YOLO11 auf Geräten mit Rockchip ausführen#

Nach dem Export kann das RKNN-Modell auf Geräten mit Rockchip bereitgestellt werden. Dazu musst du die exportierte RKNN-Datei einfach auf dein Rockchip-Gerät laden und die Inferenz ausführen – also das trainierte KI-Modell neue Bilder oder Videos analysieren und Objekte in Echtzeit erkennen lassen. Mit wenigen Codezeilen kannst du Objekte in Bildern oder Videostreams erkennen.

Abb. 4. Inferenz mit dem exportierten RKNN-Modell ausführen.

Edge-AI-Anwendungen von Ultralytics YOLO11 und Rockchip#

Um besser zu verstehen, wie Ultralytics YOLO11 im Alltag auf Geräten mit Rockchip eingesetzt werden kann, sehen wir uns einige wichtige Edge-AI-Anwendungen an.

Rockchip-Prozessoren kommen häufig in Android-Tablets, Entwicklungsplatinen und industriellen KI-Systemen zum Einsatz. Dank der Unterstützung für Android, Linux und Python kannst du ganz einfach Vision-AI-Lösungen für verschiedene Branchen entwickeln und bereitstellen.

Robuste Tablets mit Ultralytics YOLO11#

Ein typischer Anwendungsfall für Ultralytics YOLO11 auf Geräten mit Rockchip sind robuste Tablets. Diese langlebigen, leistungsstarken Tablets sind für anspruchsvolle Umgebungen wie Lagerhallen, Baustellen und Industrieanlagen ausgelegt. Mit Objekterkennung können sie Effizienz und Sicherheit verbessern.

In der Lagerlogistik können Mitarbeitende beispielsweise mit einem Tablet mit Rockchip-Prozessor und YOLO11 den Bestand automatisch erfassen und erkennen. Das senkt die Fehlerquote und beschleunigt die Bearbeitung. Auf Baustellen können diese Tablets außerdem erkennen, ob Mitarbeitende die vorgeschriebene Schutzausrüstung wie Helme und Warnwesten tragen. So können Unternehmen Vorschriften durchsetzen und Unfälle verhindern.

Abb. 5 Erkennung von Schutzausrüstung mit Ultralytics YOLO11.

Industrielle KI zur Qualitätskontrolle#

In der Fertigung und Automatisierung können Industrieplatinen mit Rockchip eine wichtige Rolle bei der Qualitätskontrolle und Prozessüberwachung spielen. Eine Industrieplatine ist ein kompaktes, leistungsstarkes Rechenmodul für eingebettete Systeme in industriellen Umgebungen. Solche Platinen verfügen in der Regel über Prozessoren, Speicher, E/A-Schnittstellen und Anschlussmöglichkeiten zur Integration von Sensoren, Kameras und automatisierten Maschinen.

Mit Ultralytics-YOLO11-Modellen auf diesen Platinen lassen sich Produktionslinien in Echtzeit analysieren. Probleme werden sofort erkannt und die Effizienz verbessert. In der Automobilfertigung kann ein KI-System mit Rockchip-Hardware und YOLO11 beispielsweise Kratzer, falsch ausgerichtete Teile oder Lackfehler erkennen, während die Fahrzeuge die Fertigungsstraße durchlaufen. Durch die Erkennung solcher Mängel in Echtzeit können Hersteller Ausschuss und Produktionskosten senken und hohe Qualitätsstandards sicherstellen, bevor die Fahrzeuge ihre Kunden erreichen.

Vorteile von Ultralytics YOLO11 auf Geräten mit Rockchip#

Geräte mit Rockchip bieten eine gute Balance aus Leistung, Kosten und Effizienz und eignen sich deshalb hervorragend für den Einsatz von Ultralytics YOLO11 in Edge-AI-Anwendungen.

Hier sind einige Vorteile von Ultralytics YOLO11 auf Geräten mit Rockchip:

• Verbesserte KI-Leistung: Geräte mit Rockchip bewältigen die KI-Inferenz effizienter als platinenbasierte Systeme mit CPU wie Raspberry Pi und ermöglichen eine schnellere Objekterkennung bei geringerer Latenz.
• Kostengünstige Lösung: Wenn du mit KI experimentierst und eine preisgünstige Option suchst, die dennoch eine starke Leistung bietet, ist Rockchip eine gute Wahl. Damit kannst du Ultralytics YOLO11 kostengünstig ausführen, ohne Abstriche bei Geschwindigkeit oder Effizienz zu machen.
• Energieeffizienz: Die Ausführung von Computer-Vision-Modellen auf Geräten mit Rockchip verbraucht weniger Strom als GPUs. Das macht sie ideal für batteriebetriebene Geräte und eingebettete KI-Anwendungen.

Die wichtigsten Erkenntnisse#

Ultralytics YOLO11 läuft dank Hardwarebeschleunigung und des RKNN-Formats effizient auf Geräten mit Rockchip. Das verringert die Inferenzzeit und verbessert die Leistung, wodurch sich das Modell ideal für Computer-Vision-Aufgaben in Echtzeit und Edge-AI-Anwendungen eignet.

Das RKNN Toolkit bietet wichtige Optimierungswerkzeuge wie Quantisierung, damit Ultralytics-YOLO11-Modelle auf Rockchip-Plattformen gute Leistung erbringen. Mit der zunehmenden Verbreitung von Edge AI wird es entscheidend sein, Modelle für eine effiziente Verarbeitung auf dem Gerät zu optimieren. Mit den richtigen Werkzeugen und der passenden Hardware können Entwickler neue Möglichkeiten für Computer-Vision-Lösungen in verschiedenen Branchen erschließen.

Werde Teil unserer Community und sieh dir unser GitHub-Repository an, um mehr über KI zu erfahren. Auf unseren Lösungsseiten erfährst du, wie Computer Vision in der Landwirtschaft und KI im Gesundheitswesen Innovationen vorantreiben. Sieh dir auch unsere Lizenzoptionen an und beginne noch heute mit der Entwicklung deiner Vision-AI-Lösungen!