Ultralytics YOLO11 für effiziente Edge AI auf Rockchip bereitstellen

Ein aktuelles Schlagwort in der KI-Community ist Edge-KI, insbesondere im Zusammenhang mit Computer Vision. Mit dem Wachstum KI-gestützter Anwendungen steigt der Bedarf, Modelle effizient auf eingebetteten Geräten mit begrenzter Leistung und Rechenkapazität auszuführen.

Drohnen nutzen beispielsweise Computer Vision für die Navigation in Echtzeit, intelligente Kameras erkennen Objekte sofort und industrielle Automatisierungssysteme führen Qualitätskontrollen ohne Cloud Computing durch. Diese Anwendungen erfordern eine schnelle und effiziente KI-Verarbeitung direkt auf Edge-Geräten, um eine Leistung in Echtzeit und eine geringe Latenz sicherzustellen. Die Ausführung von KI-Modellen auf Edge-Geräten ist jedoch nicht immer einfach. KI-Modelle benötigen häufig mehr Leistung und Speicher, als viele Edge-Geräte bereitstellen können.

Das RKNN Toolkit von Rockchip hilft, dieses Problem zu lösen, indem es Deep-Learning-Modelle für Geräte mit Rockchip-Prozessoren optimiert. Es nutzt spezielle neuronale Verarbeitungseinheiten (NPUs), um die Inferenz zu beschleunigen und Latenz sowie Energieverbrauch im Vergleich zur Verarbeitung auf CPU oder GPU zu reduzieren.

Die Computer-Vision-Community wollte Ultralytics YOLO11 auf Rockchip-basierten Geräten ausführen, und wir haben euch gehört. Wir haben die Unterstützung für den Export von YOLO11 in das RKNN-Modellformat ergänzt. In diesem Artikel sehen wir uns an, wie der Export in RKNN funktioniert und warum die Bereitstellung von YOLO11 auf Geräten mit Rockchip-Prozessoren einen großen Fortschritt darstellt.

Was sind Rockchip und das RKNN Toolkit?#

Rockchip ist ein Unternehmen, das Ein-Chip-Systeme (SoCs) entwickelt – winzige, aber leistungsfähige Prozessoren, die viele eingebettete Geräte betreiben. Diese Chips vereinen eine CPU, GPU und neuronale Verarbeitungseinheit (NPU), um sowohl allgemeine Rechenaufgaben als auch Computer-Vision-Anwendungen mit Objekterkennung und Bildverarbeitung zu bewältigen.

Rockchip-SoCs werden in verschiedensten Geräten eingesetzt, darunter Einplatinencomputer (SBCs), Entwicklungsplatinen, industrielle KI-Systeme und intelligente Kameras. Viele bekannte Hardwarehersteller wie Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas und Banana Pi bauen Geräte mit Rockchip-SoCs. Diese Platinen sind für Edge-KI- und Computer-Vision-Anwendungen beliebt, weil sie ein ausgewogenes Verhältnis von Leistung, Energieeffizienz und Preis bieten.

Abb. 1: Beispiel für ein Gerät mit Rockchip-Prozessor.

Damit KI-Modelle auf diesen Geräten effizient ausgeführt werden können, stellt Rockchip das RKNN Toolkit (Neuronales Netzwerk von Rockchip) bereit. Damit können Entwickler Deep-Learning-Modelle konvertieren und für die neuronalen Verarbeitungseinheiten (NPUs) von Rockchip optimieren.

RKNN-Modelle sind für Inferenz mit geringer Latenz und einen effizienten Energieverbrauch optimiert. Durch die Konvertierung von Modellen in RKNN können Entwickler auf Geräten mit Rockchip-Prozessoren höhere Verarbeitungsgeschwindigkeiten, einen geringeren Energieverbrauch und eine bessere Effizienz erreichen.

RKNN-Modelle sind optimiert#

Sehen wir uns genauer an, wie RKNN-Modelle die KI-Leistung auf Rockchip-fähigen Geräten verbessern.

Im Gegensatz zu CPUs und GPUs, die eine große Bandbreite an Rechenaufgaben bewältigen, sind die NPUs von Rockchip speziell für Deep Learning ausgelegt. Durch die Konvertierung von KI-Modellen in das RKNN-Format können Entwickler Inferenz direkt auf der NPU ausführen. Dadurch eignen sich RKNN-Modelle besonders für Computer-Vision-Aufgaben in Echtzeit, bei denen eine schnelle und effiziente Verarbeitung entscheidend ist.

NPUs sind bei KI-Aufgaben schneller und effizienter als CPUs und GPUs, da sie speziell für die parallele Verarbeitung neuronaler Netze entwickelt wurden. Während CPUs Aufgaben nacheinander verarbeiten und GPUs die Arbeitslast auf mehrere Kerne verteilen, sind NPUs darauf optimiert, KI-spezifische Berechnungen effizienter auszuführen.

Daher laufen RKNN-Modelle schneller und verbrauchen weniger Energie. Damit eignen sie sich ideal für batteriebetriebene Geräte, intelligente Kameras, industrielle Automatisierung und andere Edge-KI-Anwendungen, die Entscheidungen in Echtzeit erfordern.

Überblick über die Ultralytics-YOLO-Modelle#

Ultralytics-YOLO-Modelle (Du siehst nur einmal) sind für Computer-Vision-Aufgaben in Echtzeit wie Objekterkennung, Instanzsegmentierung und Bildklassifizierung ausgelegt. Sie sind für ihre Geschwindigkeit, Genauigkeit und Effizienz bekannt und werden in Branchen wie Landwirtschaft, Fertigung, Gesundheitswesen und autonomen Systemen breit eingesetzt.

Diese Modelle wurden im Laufe der Zeit deutlich verbessert. So machte Ultralytics YOLOv5 die Objekterkennung mit PyTorch einfacher. Anschließend ergänzte Ultralytics YOLOv8 neue Funktionen wie Posenschätzung und Bildklassifizierung. Jetzt geht YOLO11 noch einen Schritt weiter, indem es die Genauigkeit erhöht und gleichzeitig weniger Ressourcen benötigt. Tatsächlich erzielt YOLO11m auf dem COCO-Datensatz bessere Ergebnisse und verwendet dabei 22 % weniger Parameter als YOLOv8m. Dadurch ist es sowohl präziser als auch effizienter.

Abb. 2: Objekterkennung mit Ultralytics YOLO11.

Ultralytics-YOLO-Modelle unterstützen außerdem den Export in mehrere Formate und ermöglichen so eine flexible Bereitstellung auf unterschiedlichen Plattformen. Zu diesen Formaten gehören ONNX, TensorRT, CoreML und OpenVINO. Dadurch können Entwickler die Leistung gezielt für die jeweilige Hardware optimieren.

Dank der zusätzlichen Unterstützung für den Export von YOLO11 in das RKNN-Modellformat kann YOLO11 jetzt die NPUs von Rockchip nutzen. Das kleinste Modell, YOLO11n im RKNN-Format, erreicht eine beeindruckende Inferenzzeit von 99,5 ms pro Bild und ermöglicht so selbst auf eingebetteten Geräten eine Verarbeitung in Echtzeit.

Dein Ultralytics-YOLO11-Modell in das RKNN-Format exportieren#

Derzeit können Ultralytics-YOLO11-Modelle zur Objekterkennung in das RKNN-Format exportiert werden. Bleib außerdem gespannt – wir arbeiten daran, in zukünftigen Aktualisierungen Unterstützung für die übrigen Computer-Vision-Aufgaben und die INT8-Quantisierung hinzuzufügen.

Der Export von Ultralytics YOLO11 in das RKNN-Format ist unkompliziert. Du kannst dein individuell trainiertes YOLO11-Modell laden, die Zielplattform von Rockchip festlegen und es mit wenigen Codezeilen in das RKNN-Format konvertieren. Das RKNN-Format ist mit verschiedenen Rockchip-SoCs kompatibel, darunter RK3588, RK3566 und RK3576, und bietet dadurch breite Hardware-Unterstützung.

Abb. 3: Export von Ultralytics YOLO11 in das RKNN-Modellformat.

Ultralytics YOLO11 auf Rockchip-basierten Geräten bereitstellen#

Nach dem Export kann das RKNN-Modell auf Rockchip-basierten Geräten bereitgestellt werden. Dazu lädst du einfach die exportierte RKNN-Datei auf dein Rockchip-Gerät und führst eine Inferenz aus – also den Vorgang, bei dem das trainierte KI-Modell neue Bilder oder Videos analysiert und Objekte in Echtzeit erkennt. Mit wenigen Codezeilen kannst du beginnen, Objekte in Bildern oder Videostreams zu erkennen.

Abb. 4: Ausführen einer Inferenz mit dem exportierten RKNN-Modell.

Edge-KI-Anwendungen von Ultralytics YOLO11 und Rockchip#

Um besser zu verstehen, wo Ultralytics YOLO11 in der Praxis auf Rockchip-fähigen Geräten eingesetzt werden kann, sehen wir uns einige wichtige Edge-KI-Anwendungen an.

Rockchip-Prozessoren werden häufig in Android-basierten Tablets, Entwicklungsplatinen und industriellen KI-Systemen eingesetzt. Mit Unterstützung für Android, Linux und Python kannst du problemlos Computer-Vision-Lösungen für verschiedene Branchen entwickeln und bereitstellen.

Robuste Tablets mit Ultralytics YOLO11#

Eine häufige Anwendung für Ultralytics YOLO11 auf Geräten mit Rockchip-Prozessoren sind robuste Tablets. Sie sind langlebige, leistungsfähige Tablets für anspruchsvolle Umgebungen wie Lagerhallen, Baustellen und industrielle Einsatzorte. Diese Tablets können die Objekterkennung nutzen, um Effizienz und Sicherheit zu verbessern.

In der Lagerlogistik können Mitarbeitende beispielsweise ein Tablet mit Rockchip-Prozessor und YOLO11 verwenden, um den Bestand automatisch zu scannen und zu erkennen. Das verringert menschliche Fehler und beschleunigt die Verarbeitung. Auf Baustellen können diese Tablets außerdem erkennen, ob Mitarbeitende die erforderliche Schutzausrüstung wie Helme und Warnwesten tragen. So können Unternehmen Vorschriften durchsetzen und Unfälle verhindern.

Abb. 5: Erkennung von Schutzausrüstung mit Ultralytics YOLO11.

Industrielle KI für die Qualitätskontrolle#

In der Fertigung und Automatisierung können industrielle Platinen mit Rockchip-Prozessoren eine wichtige Rolle bei der Qualitätskontrolle und Prozessüberwachung spielen. Eine industrielle Platine ist ein kompaktes, leistungsfähiges Rechenmodul für eingebettete Systeme in industriellen Umgebungen. Diese Platinen umfassen in der Regel Prozessoren, Speicher, I/O-Schnittstellen und Verbindungsoptionen, die sich in Sensoren, Kameras und automatisierte Maschinen integrieren lassen.

Durch die Ausführung von Ultralytics-YOLO11-Modellen auf diesen Platinen können Produktionslinien in Echtzeit analysiert, Probleme sofort erkannt und die Effizienz verbessert werden. In der Automobilproduktion kann ein KI-System mit Rockchip-Hardware und YOLO11 beispielsweise Kratzer, falsch ausgerichtete Teile oder Lackfehler erkennen, während die Fahrzeuge das Montageband durchlaufen. Durch die Erkennung dieser Fehler in Echtzeit können Hersteller Ausschuss reduzieren, Produktionskosten senken und höhere Qualitätsstandards sicherstellen, bevor die Fahrzeuge die Kunden erreichen.

Vorteile der Ausführung von Ultralytics YOLO11 auf Rockchip-basierten Geräten#

Rockchip-basierte Geräte bieten ein gutes Verhältnis von Leistung, Kosten und Effizienz und sind daher eine gute Wahl für die Bereitstellung von Ultralytics YOLO11 in Edge-KI-Anwendungen.

Hier sind einige Vorteile der Ausführung von Ultralytics YOLO11 auf Rockchip-basierten Geräten:

• Verbesserte KI-Leistung: Rockchip-fähige Geräte führen KI-Inferenz effizienter aus als CPU-basierte Platinen wie Raspberry Pi und ermöglichen eine schnellere Objekterkennung bei geringerer Latenz.
• Kostengünstige Lösung: Wenn du mit KI experimentierst und eine preisgünstige Option mit dennoch hoher Leistung benötigst, ist Rockchip eine gute Wahl. Damit kannst du Ultralytics YOLO11 kostengünstig ausführen, ohne bei Geschwindigkeit oder Effizienz Kompromisse einzugehen.
• Energieeffizienz: Die Ausführung von Computer-Vision-Modellen auf Geräten mit Rockchip-Prozessoren verbraucht weniger Energie als auf GPUs. Dadurch eignen sie sich ideal für batteriebetriebene Geräte und eingebettete KI-Anwendungen.

Wichtige Erkenntnisse#

Ultralytics YOLO11 kann auf Rockchip-basierten Geräten durch Hardwarebeschleunigung und das RKNN-Format effizient ausgeführt werden. Dadurch verringert sich die Inferenzzeit und die Leistung verbessert sich, was das Modell ideal für Computer-Vision-Aufgaben in Echtzeit und Edge-KI-Anwendungen macht.

Das RKNN Toolkit stellt wichtige Optimierungswerkzeuge wie Quantisierung und Feinabstimmung bereit und sorgt dafür, dass Ultralytics-YOLO11-Modelle auf Rockchip-Plattformen gut funktionieren. Die Optimierung von Modellen für eine effiziente Verarbeitung direkt auf dem Gerät wird mit der zunehmenden Verbreitung von Edge-KI immer wichtiger. Mit den richtigen Werkzeugen und der passenden Hardware können Entwickler neue Möglichkeiten für Computer-Vision-Lösungen in verschiedenen Branchen erschließen.

Tritt unserer Community bei und erkunde unser GitHub-Repository, um mehr über KI zu erfahren. Erfahre auf unseren Lösungsseiten, wie Computer Vision in der Landwirtschaft und KI im Gesundheitswesen Innovationen vorantreiben. Sieh dir außerdem unsere Lizenzoptionen an, um noch heute mit der Entwicklung deiner Computer-Vision-Lösungen zu beginnen!