Ultralytics YOLO-Modelle auf Axelera-AI-Hardware für KI am Netzwerkrand einsetzen

Bei Ultralytics beobachten wir, dass immer mehr Computer-Vision-Modelle direkt auf Edge-Geräten ausgeführt werden, da sich KI zunehmend durchsetzt. In Gesprächen mit der Computer-Vision-Community, sowohl online als auch persönlich auf den jüngsten Tech-Konferenzen, hat unser Team ein wachsendes Interesse daran festgestellt, Vision-KI näher am Entstehungsort der Daten einzusetzen.

Von intelligenten Einzelhandelsumgebungen und industrieller Automatisierung bis hin zur Robotik werden Echtzeit-Einblicke immer wichtiger, und allein auf die Cloud zu setzen, reicht nicht mehr aus.

Einfach ausgedrückt bedeutet Edge-KI, KI-Modelle lokal auf Geräten auszuführen, anstatt Daten zur Verarbeitung an zentrale Server zu senden. Dadurch lassen sich Latenzen verringern, die Zuverlässigkeit verbessern und Ereignisse in der realen Welt in Echtzeit verarbeiten.

Der Einsatz leistungsstarker Modelle in diesen Umgebungen bringt jedoch eigene Herausforderungen mit sich: Begrenzte Rechenressourcen und Einschränkungen beim Stromverbrauch erfordern Modelle, die sowohl effizient als auch für die jeweilige Hardware optimiert sind.

Ultralytics-YOLO-Modelle wie Ultralytics YOLO26 sind für Computer Vision in Echtzeit konzipiert. Um ihr volles Potenzial am Netzwerkrand auszuschöpfen, ist jedoch die richtige Kombination aus Software und Hardware erforderlich. Deshalb freuen wir uns, unsere Zusammenarbeit mit Axelera AI bekannt zu geben.

Wir haben uns mit Axelera AI zusammengeschlossen, um eine aktualisierte Exportintegration vorzustellen, die eine effiziente und leistungsstarke Bereitstellung von Ultralytics-YOLO-Modellen auf Metis®-KI-Verarbeitungseinheiten (AIPUs) ermöglicht.

Abb. 1: Ein Blick auf eine Metis-KI-Verarbeitungseinheit (Quelle)

In diesem Artikel zeigen wir, wie sich Ultralytics-YOLO-Modelle ganz einfach für den Einsatz auf Metis kompilieren lassen. Los geht's!

Edge-KI ist die Zukunft der Computer Vision#

Da sich Computer-Vision-Anwendungen stetig weiterentwickeln, wird die Notwendigkeit einer schnelleren und effizienteren Verarbeitung immer wichtiger. Herkömmliche cloudbasierte Ansätze können Latenzen verursachen, sind auf eine stabile Verbindung angewiesen und erfüllen möglicherweise nicht die Echtzeitanforderungen vieler intelligenter Vision-Anwendungen.

Edge-KI begegnet diesen Herausforderungen, indem Modelle direkt auf lokalen Geräten ausgeführt werden und Daten so näher an ihrem Ursprung verarbeitet werden können. Ein Beispiel sind Drohnen mit Vision-KI, die bei Such- und Rettungseinsätzen eingesetzt werden.

Diese Systeme müssen Videostreams in Echtzeit analysieren, um Personen, Hindernisse oder Gefahren zu erkennen – oft in abgelegenen Gebieten mit eingeschränkter oder ganz fehlender Internetverbindung. Werden Computer-Vision-Modelle direkt auf der Drohne ausgeführt, ermöglicht Edge-KI schnellere Entscheidungen und zuverlässigere Leistung, ohne auf eine Cloud-Infrastruktur angewiesen zu sein.

Dieser Wandel eröffnet neue Möglichkeiten in verschiedensten Branchen. Anwendungen wie die Objekterkennung in Echtzeit im Einzelhandel, die automatisierte Qualitätsprüfung in der Fertigung und die Wahrnehmung in der Robotik profitieren von kürzeren Reaktionszeiten und höherer Zuverlässigkeit.

Edge-KI entwickelt sich rasch zu einer Schlüsseltechnologie für den Einsatz skalierbarer und reaktionsschneller Computer-Vision-Systeme in realen Umgebungen.

Axelera AIs Metis-KI-Verarbeitungseinheiten im Überblick#

Bevor wir uns näher mit der neuen Exportintegration befassen, schauen wir uns zunächst Axelera AIs Metis-KI-Verarbeitungseinheiten und ihre Rolle bei der effizienten Edge-KI an.

Axelera AI entwickelt speziell für die Beschleunigung von KI-Inferenz am Netzwerkrand konzipierte Hardware. Ein wichtiger Bestandteil davon ist die Metis AIPU, eine spezialisierte KI-Verarbeitungseinheit, die neuronale Netze effizient auf Edge-Geräten ausführt.

Anders als Universalprozessoren (CPUs) oder sogar Grafikprozessoren (GPUs) sind AIPUs darauf ausgelegt, die spezifischen Rechenmuster von KI-Workloads zu verarbeiten. So bieten sie hohe Leistung bei gleichzeitig geringem Stromverbrauch – entscheidend für Edge-Umgebungen, in denen die Ressourcen oft begrenzt sind.

Besonders innovativ an Axelera AIs Ansatz ist das durchgängige Design. Metis basiert auf digitaler In-Memory-Berechnung (D-IMC) und RISC-V und bietet so hohe Leistung bei der für Edge Computing erforderlichen Energieeffizienz. Die vier Kerne von Metis lassen sich unabhängig voneinander programmieren, sodass du vier Modelle pro Chip parallel ausführen kannst. Zusätzlich zur Hardware umfasst das Voyager SDK einen Compiler und eine Laufzeitumgebung, die gemeinsam Modelle für den Einsatz optimieren.

So können Entwickler effizienter von trainierten Modellen zu produktionsreifen Inferenzlösungen gelangen. Metis-AIPUs ermöglichen es insbesondere, fortschrittliche Computer-Vision-Modelle wie Ultralytics-YOLO-Modelle direkt auf Edge-Geräten auszuführen – von Geräten in Unternehmen, im Einzelhandel, im Gesundheitswesen und in der Fertigung bis hin zu landwirtschaftlichen und industriellen Anlagen sowie Satelliten.

Ultralytics-YOLO-Modelle für den Einsatz auf Metis exportieren#

Das Ultralytics-Python-Paket bietet eine einheitliche Schnittstelle zum Trainieren, Evaluieren und Bereitstellen von YOLO-Modellen für zahlreiche Computer-Vision-Aufgaben. YOLO-Modelle werden üblicherweise mit PyTorch entwickelt und trainiert, das sich gut für Experimente und die Modellentwicklung eignet.

Für den Einsatz dieser Modelle auf spezialisierter Edge-Hardware müssen sie jedoch in ein für das Zielgerät optimiertes Format umgewandelt werden. Hier kommen die vom Ultralytics-Python-Paket unterstützten Exportintegrationen ins Spiel.

Ultralytics bietet verschiedene Exportoptionen, mit denen sich YOLO-Modelle je nach Einsatzziel in unterschiedliche Formate wie ONNX, TensorRT und andere hardwarespezifische Backends umwandeln lassen. Diese Integrationen vereinfachen die Vorbereitung von Modellen für reale Anwendungen, indem sie die erforderlichen Optimierungs- und Konvertierungsschritte übernehmen.

Darauf aufbauend hat Ultralytics eine aktualisierte Integration mit Axelera AI für den Export eingeführt, mit der YOLO-Modelle für den Einsatz auf Metis-AIPUs exportiert werden können.

Beim Export wird das Modell kompiliert und quantisiert, um eine optimierte Darstellung speziell für Axelera-Hardware zu erzeugen. Dabei entsteht ein kompiliertes Modell im Format ".axm" samt den für Bereitstellung und Inferenz erforderlichen Metadaten.

Abb. 2: Ultralytics-YOLO-Modelle lassen sich auf Metis-AIPUs ausführen. (Quelle)

Die Integration unterstützt zahlreiche Computer-Vision-Aufgaben mit Ultralytics YOLOv8, Ultralytics YOLO11 und Ultralytics-YOLO26-Modellen, darunter Objekterkennung, Posenschätzung, Instanzsegmentierung, Erkennung orientierter Bounding-Boxen (OBB) und Bildklassifizierung. Die meisten Aufgaben werden direkt über den Exportprozess unterstützt; die Segmentierung mit YOLO26 lässt sich außerdem über die Modellbibliothek mit dem Voyager SDK nutzen.

Diese erweiterte Unterstützung gibt Entwicklern die Flexibilität, je nach Anwendung unterschiedliche Arten von Vision-Modellen einzusetzen – von der Objekterkennung in Echtzeit bis hin zum Erfassen von Szenen, Verfolgen von Bewegungen und Analysieren komplexer visueller Daten.

Nach dem Export lassen sich die Modelle bereitstellen und ausführen, ohne dass PyTorch zur Inferenzzeit benötigt wird. Stattdessen werden sie mit der Laufzeitumgebung des Voyager SDK ausgeführt, die den Aufbau durchgängiger Pipelines für Aufgaben wie Videoverarbeitung, Erkennung in Echtzeit und Tracking direkt auf Edge-Geräten unterstützt.

Erste Schritte zum Exportieren von Ultralytics-YOLO-Modellen#

Nachdem wir nun die neue Exportintegration besser kennen, zeigen wir dir, wie du Ultralytics-YOLO-Modelle in dieses spezielle Format exportierst und auf Metis-Hardware am Netzwerkrand ausführst.

Schritt 1: Ultralytics-Python-Paket installieren#

Zunächst musst du das Ultralytics-Python-Paket installieren. Es bietet eine einfache und einheitliche Schnittstelle zum Trainieren, Evaluieren und Exportieren von YOLO-Modellen.

Du kannst es mit pip installieren, indem du den folgenden Befehl in deinem Terminal oder deiner Eingabeaufforderung ausführst:

pip install ultralytics

Falls bei der Installation oder beim Export Probleme auftreten, findest du in der offiziellen Ultralytics-Dokumentation und im Leitfaden zu häufigen Problemen hilfreiche Informationen zur Fehlerbehebung.

Schritt 2: Axelera-Treiber und Voyager SDK installieren#

Um Modelle auf Axelera-Hardware zu exportieren und auszuführen, musst du auch die Axelera-Treiber und das Voyager SDK installieren. Dadurch wird die Kommunikation mit der Metis AIPU ermöglicht und du erhältst die erforderlichen Laufzeit- und Compilerwerkzeuge.

Die folgenden Schritte müssen in einer Linux-Umgebung mit Zugriff auf Axelera-AI-Metis-Hardware ausgeführt werden. Öffne ein Terminal auf deinem System oder verwende eine Notebook-Zelle, wenn du Jupyter Notebook auf einer kompatiblen lokalen Umgebung ausführst, und führe die folgenden Befehle aus.

Füge zunächst wie folgt den Schlüssel des Axelera-Repositorys hinzu:

sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

Füge anschließend wie unten gezeigt das Axelera-Repository zu deinem System hinzu:

sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

Installiere dann das Voyager SDK und lade den Metis-Treiber wie folgt:

sudo apt update
sudo apt install -y metis-dkms=1.4.16
sudo modprobe metis

Sobald diese Schritte abgeschlossen sind, kannst du Ultralytics-YOLO-Modelle auf Axelera-AI-Metis-Geräten exportieren und ausführen.

Schritt 3: Ultralytics-YOLO-Modelle exportieren#

Nach der Installation des Ultralytics-Pakets kannst du dein YOLO-Modell laden und als kompiliertes Paket für Metis exportieren. Dabei wird das Modell in ein Format umgewandelt, das für den Einsatz auf Axelera-AI-Metis-Hardware optimiert ist.

Im folgenden Beispiel verwenden wir ein vortrainiertes YOLO26-Nanomodell und exportieren es für Metis. Das exportierte Modell wird in einem Verzeichnis namens "/yolo26n_axelera_model" gespeichert.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="axelera")

Schritt 4: Inferenz mit dem exportierten Modell ausführen#

Nach dem Export kannst du das Modell laden und Inferenz auf unbekannten Bildern oder Videostreams ausführen. So kannst du Computer-Vision-Aufgaben in Echtzeit direkt auf Axelera-AI-Metis-Geräten erledigen.

Das folgende Codebeispiel zeigt, wie du das exportierte Modell lädst und Inferenz auf einer öffentlich zugänglichen URL ausführst.

axelera_model = YOLO("yolo26n_axelera_model")

results = axelera_model("https://ultralytics.com/images/bus.jpg", save=True)

In diesem Fall analysiert das Modell das Eingabebild und erkennt Objekte. Die Ergebnisse werden im Verzeichnis "runs/detect/predict" gespeichert.

Einsatzmöglichkeiten von Ultralytics YOLO und Axelera-AI-Hardware#

Sehen wir uns nun einige typische Edge-KI-Anwendungen an, bei denen Ultralytics-YOLO-Modelle in realen Szenarien auf Axelera-AI-Hardware eingesetzt werden können.

Axelera AIs Metis-AIPUs sind für verschiedenste Einsatzumgebungen konzipiert, von eingebetteten Systemen und Industrie-PCs bis hin zu Robotik und Edge-Servern. Dank leistungsstarker und energieeffizienter Inferenz ermöglichen sie Computer-Vision-Anwendungen direkt auf dem Gerät in zahlreichen Branchen. Das Voyager SDK umfasst außerdem einen Pipeline-Builder, mit dem ML- und APP-Ingenieure Modelle für den Einsatz am Netzwerkrand produktreif machen können.

Intelligente Vision-Systeme im Einzelhandel direkt am Netzwerkrand#

Im Einzelhandel kann es einen großen Unterschied machen, das Verhalten von Kunden in Echtzeit zu verstehen.

Mit Ultralytics-YOLO-Modellen auf Axelera-AI-Hardware können Geschäfte den Kundenverkehr überwachen, Personen zählen und Bewegungsmuster im Laden direkt analysieren. Da alles auf dem Gerät ausgeführt wird, lassen sich Erkenntnisse sofort gewinnen, ohne auf eine Cloud-Verbindung angewiesen zu sein. So können Teams schneller reagieren und gleichzeitig den Datenschutz wahren.

Abb. 3: Personen in einem Einkaufszentrum mit Ultralytics YOLO26 erkennen und zählen

Edge-KI für die Inspektion von Versorgungsnetzen und Infrastruktur nutzen#

Die Instandhaltung großflächiger Infrastruktur wie Stromleitungen ist komplex und ressourcenintensiv. Diese Netze erstrecken sich oft über weite Entfernungen, wodurch Inspektionen zeitaufwendig, kostspielig und potenziell gefährlich werden. Bleiben Defekte oder frühe Verschleißanzeichen unentdeckt, können sie zu Ausfällen, Geräteschäden oder Sicherheitsrisiken führen.

Drohnen werden zunehmend eingesetzt, um Inspektionen effizienter zu gestalten. Sie können große Entfernungen zurücklegen, schwer zugängliche Bereiche erreichen und hochauflösende Bilder wichtiger Anlagen aufnehmen.

Die Kombination von Drohnen und Edge-KI verbessert diese Arbeitsabläufe zusätzlich. Ultralytics-YOLO-Modelle auf Axelera-AI-Hardware ermöglichen die Echtzeitanalyse während der Inspektion und erkennen vor Ort Defekte, klassifizieren Komponenten und identifizieren Anomalien. Dadurch ist weniger manuelle Prüfung nötig, und die Infrastruktur lässt sich schneller und zuverlässiger überwachen.

Abb. 4: Verschiedene Teile einer Stromleitung mit Ultralytics YOLO26 erkennen

Robotik mit Vision-KI-Einblicken in Echtzeit ausstatten#

In der Robotik sind Geschwindigkeit und Reaktionsfähigkeit entscheidend. Ob bei der Navigation durch ein Lager oder im dynamischen industriellen Umfeld: Roboter müssen ihre Umgebung sofort erfassen.

Ultralytics-YOLO-Modelle auf Axelera-AI-Hardware ermöglichen es Robotern, ihre Umgebung in Echtzeit zu erfassen – von der Erkennung von Hindernissen über das Verfolgen von Personen bis hin zum Identifizieren von Objekten. So können sich Systeme sicherer bewegen, sich an wechselnde Bedingungen anpassen und autonomer arbeiten, ohne ständig auf eine Cloud-Verbindung angewiesen zu sein.

Die wichtigsten Vorteile von Ultralytics-YOLO-Modellen auf Metis-AIPUs#

Hier sind einige der wichtigsten Vorteile, die der Einsatz von Ultralytics-YOLO-Modellen auf Metis-Hardware von Axelera AI mit der neuen Integration bietet:

• Nahtlose Integration in den Ultralytics-Workflow: Der Export von YOLO-Modellen für den Einsatz auf Metis fügt sich nahtlos in das Ultralytics-Python-Paket ein und vereinfacht den Übergang vom Training zur Inferenz.
• Unterstützung zahlreicher Computer-Vision-Aufgaben: Du kannst YOLOv8-, YOLO11- und YOLO26-Modelle für Objekterkennung, Posenschätzung, Segmentierung, Klassifizierung und weitere Aufgaben einsetzen.
• Modelle parallel ausführen: Metis-AIPUs verfügen über vier unabhängig programmierbare Kerne, die vier separate Modelle parallel ausführen können – ganz nach deinem Bedarf.
• Skalierbar für Edge-KI-Anwendungen: Von Einzelhandelsanalysen und industriellen Inspektionen bis hin zu Robotik und intelligenter Infrastruktur unterstützt die Integration zahlreiche praktische Anwendungsfälle.

Die wichtigsten Erkenntnisse#

Ultralytics-YOLO-Modelle und Metis-AIPUs von Axelera AI erleichtern es, leistungsstarke Computer Vision an den Netzwerkrand zu bringen. Diese Integration vereinfacht die Bereitstellung und optimiert Modelle für spezialisierte Hardware und hilft so, die Lücke zwischen Entwicklung und praktischen Anwendungen zu schließen.

Da Edge-KI weiter wächst, werden effiziente und skalierbare Bereitstellungsoptionen entscheidend sein, um reaktionsschnelle und zuverlässige Systeme zu entwickeln. Diese Zusammenarbeit ist ein Schritt dahin, fortschrittliche Vision-KI branchenübergreifend zugänglicher zu machen.

Möchtest du mehr über KI erfahren? Sieh dir unser GitHub-Repository an, tausche dich mit unserer Community aus und informiere dich über unsere Lizenzoptionen, um dein Computer-Vision-Projekt auf den Weg zu bringen. Erfahre, wie Innovationen wie KI im Einzelhandel und Computer Vision im Gesundheitswesen die Zukunft gestalten.