Ultralytics YOLO-Modelle auf Axelera-AI-Hardware für Edge-KI einsetzen

Bei Ultralytics beobachten wir, dass immer mehr Computer-Vision-Modelle direkt auf Edge-Geräten ausgeführt werden, da KI zunehmend Verbreitung findet. In unseren Gesprächen mit der Computer-Vision-Community, sowohl online als auch persönlich auf den jüngsten Technologiekonferenzen, hat unser Team ein wachsendes Interesse daran festgestellt, Vision-KI näher am Entstehungsort der Daten bereitzustellen.

Von intelligenten Einzelhandelsumgebungen und industrieller Automatisierung bis hin zur Robotik werden Erkenntnisse in Echtzeit immer wichtiger, und sich ausschließlich auf die Cloud zu verlassen, reicht nicht mehr aus.

Einfach ausgedrückt bedeutet Edge-KI, KI-Modelle lokal auf Geräten auszuführen, statt Daten zur Verarbeitung an zentrale Server zu senden. Dadurch lassen sich Latenzen verringern, die Zuverlässigkeit verbessern und Ereignisse in der realen Welt in Echtzeit verarbeiten.

Der Einsatz leistungsstarker Modelle in solchen Umgebungen bringt jedoch eigene Herausforderungen mit sich: Begrenzte Rechenressourcen und Energieeinschränkungen erfordern Modelle, die sowohl effizient als auch für die jeweilige Hardware optimiert sind.

Ultralytics YOLO-Modelle wie Ultralytics YOLO26 sind für Computer Vision in Echtzeit konzipiert. Um ihr volles Potenzial am Netzwerkrand auszuschöpfen, braucht es jedoch die richtige Kombination aus Software und Hardware. Deshalb freuen wir uns, unsere Zusammenarbeit mit Axelera AI bekannt zu geben.

Wir haben uns mit Axelera AI zusammengeschlossen, um eine aktualisierte Exportintegration vorzustellen, mit der sich Ultralytics YOLO-Modelle effizient und leistungsstark auf Metis®-KI-Prozessoreinheiten (AIPUs) bereitstellen lassen.

Abb. 1. Ein Blick auf eine Metis-KI-Prozessoreinheit (Quelle)

In diesem Artikel sehen wir uns an, wie Ultralytics YOLO-Modelle für die Bereitstellung auf Metis kompiliert werden können.

Edge-KI ist die Zukunft der Computer Vision#

Mit der Weiterentwicklung von Computer-Vision-Anwendungen wird eine schnellere und effizientere Verarbeitung immer wichtiger. Herkömmliche cloudbasierte Ansätze können Latenzen verursachen, sind auf eine stabile Verbindung angewiesen und erfüllen möglicherweise nicht die Echtzeitanforderungen vieler intelligenter Bildverarbeitungsanwendungen.

Edge-KI begegnet diesen Herausforderungen, indem Modelle direkt auf lokalen Geräten ausgeführt werden und Daten so näher an ihrem Ursprungsort verarbeitet werden können. Betrachte zum Beispiel Drohnen mit Bildverarbeitung, die bei Such- und Rettungseinsätzen eingesetzt werden.

Diese Systeme müssen Videobilder in Echtzeit analysieren, um Menschen, Hindernisse oder Gefahren zu erkennen – häufig in abgelegenen Gebieten mit eingeschränkter oder ganz fehlender Internetverbindung. Werden Computer-Vision-Modelle direkt auf der Drohne ausgeführt, ermöglicht Edge-KI schnellere Entscheidungen und eine zuverlässigere Leistung, ohne auf Cloud-Infrastruktur angewiesen zu sein.

Dieser Wandel eröffnet neue Möglichkeiten in zahlreichen Branchen. Anwendungen wie die Objekterkennung im Einzelhandel in Echtzeit, die automatisierte Qualitätsprüfung in der Fertigung und die Wahrnehmung in der Robotik profitieren von kürzeren Reaktionszeiten und höherer Zuverlässigkeit.

Edge-KI entwickelt sich rasch zu einem wichtigen Wegbereiter für skalierbare und reaktionsschnelle Computer-Vision-Systeme in realen Einsatzumgebungen.

Axelera AIs Metis-KI-Prozessoreinheiten im Überblick#

Bevor wir uns mit der neuen Exportintegration befassen, schauen wir uns zunächst Axelera AIs Metis-KI-Prozessoreinheiten und ihre Rolle bei der effizienten Edge-KI näher an.

Axelera AI entwickelt speziell für die Beschleunigung der KI-Inferenz am Netzwerkrand konzipierte Hardware. Ein zentraler Bestandteil davon ist die Metis AIPU, also eine KI-Prozessoreinheit: ein spezialisierter Prozessor, der neuronale Netze effizient auf Edge-Geräten ausführt.

Im Gegensatz zu universell einsetzbaren Zentralprozessoren (CPUs) oder sogar Grafikprozessoren (GPUs) sind AIPUs für die spezifischen Rechenmuster von KI-Workloads ausgelegt. So bieten sie eine hohe Leistung bei geringem Stromverbrauch – entscheidend für Edge-Umgebungen, in denen Ressourcen oft begrenzt sind.

Axelera AIs Ansatz zeichnet sich durch sein ganzheitliches Design aus. Metis basiert auf digitaler In-Memory-Berechnung (D-IMC) und RISC-V und bietet hohe Leistung bei der Energieeffizienz, die Edge Computing erfordert. Die vier Kerne von Metis lassen sich unabhängig voneinander programmieren, sodass du vier Modelle parallel auf einem Chip ausführen kannst. Neben der Hardware umfasst das Voyager SDK einen Compiler und eine Laufzeitumgebung, die gemeinsam Modelle für die Bereitstellung optimieren.

Dadurch können Entwickler effizienter vom trainierten Modell zur produktionsreifen Inferenz gelangen. Metis AIPUs ermöglichen es insbesondere, fortgeschrittene Computer-Vision-Modelle wie Ultralytics YOLO-Modelle direkt auf Edge-Geräten auszuführen – in Unternehmen, im Einzelhandel, im Gesundheitswesen und in der Fertigung ebenso wie in der Landwirtschaft, auf Industrieanlagen und in Satelliten.

Ultralytics YOLO-Modelle für die Bereitstellung auf Metis exportieren#

Das Ultralytics-Python-Paket bietet eine einheitliche Schnittstelle zum Trainieren, Evaluieren und Bereitstellen von YOLO-Modellen für eine Vielzahl von Computer-Vision-Aufgaben. YOLO-Modelle werden üblicherweise mit PyTorch entwickelt und trainiert, das sich gut für Experimente und die Modellentwicklung eignet.

Bei der Bereitstellung dieser Modelle auf spezialisierter Edge-Hardware müssen sie jedoch in ein für das Zielgerät optimiertes Format konvertiert werden. Hier kommen die vom Ultralytics-Python-Paket unterstützten Exportintegrationen zum Einsatz.

Ultralytics bietet verschiedene Exportoptionen, mit denen YOLO-Modelle je nach Bereitstellungsziel in unterschiedliche Formate konvertiert werden können, etwa ONNX, TensorRT und andere hardwarespezifische Backends. Diese Integrationen vereinfachen die Vorbereitung von Modellen für Anwendungen in der Praxis, indem sie die notwendigen Optimierungs- und Konvertierungsschritte übernehmen.

Darauf aufbauend hat Ultralytics eine aktualisierte Integration mit Axelera AI für den Export eingeführt, mit der YOLO-Modelle zur Bereitstellung auf Metis AIPUs exportiert werden können.

Beim Export wird das Modell kompiliert und quantisiert, sodass eine optimierte Darstellung entsteht, die speziell für Axelera-Hardware ausgelegt ist. Dabei wird ein kompiliertes Modell im Format „.axm“ zusammen mit den für die Bereitstellung und Inferenz erforderlichen Metadaten erstellt.

Abb. 2. Ultralytics YOLO-Modelle lassen sich auf Metis AIPUs ausführen. (Quelle)

Die Integration unterstützt zahlreiche Computer-Vision-Aufgaben mit den Modellen Ultralytics YOLOv8, Ultralytics YOLO11 und Ultralytics YOLO26, darunter Objekterkennung, Instanzsegmentierung, Bildklassifizierung, Posenschätzung und die Erkennung orientierter Begrenzungsrahmen (OBB). Aktuelle Versionen exportieren alle Ultralytics-Aufgaben direkt, darunter die semantische Segmentierung und Tiefenschätzung von YOLO26. Einzelheiten findest du unter unterstützte Aufgaben. Die Modellbibliothek des Voyager SDK enthält außerdem sofort einsatzbereite YOLO-Modelle.

Diese erweiterte Unterstützung gibt Entwicklern die Flexibilität, je nach Anwendung verschiedene Arten von Bildverarbeitungsmodellen bereitzustellen – von der Objekterkennung in Echtzeit bis hin zum Verständnis von Szenen, der Bewegungsverfolgung und der Analyse komplexer visueller Daten.

Nach dem Export lassen sich Modelle bereitstellen und ausführen, ohne dass PyTorch zur Inferenzzeit benötigt wird. Stattdessen werden sie mit der Laufzeitumgebung des Voyager SDK ausgeführt, die den Aufbau durchgängiger Verarbeitungspipelines für Aufgaben wie Videoverarbeitung, Erkennung in Echtzeit und Verfolgung direkt auf Edge-Geräten unterstützt.

Ultralytics YOLO-Modelle exportieren: Erste Schritte#

Nachdem wir uns mit der neuen Exportintegration vertraut gemacht haben, gehen wir nun die Schritte durch, mit denen sich Ultralytics YOLO-Modelle in dieses benutzerdefinierte Format exportieren und auf Metis-Hardware am Netzwerkrand ausführen lassen.

Schritt 1: Das Ultralytics-Python-Paket installieren#

Zunächst musst du das Ultralytics-Python-Paket installieren. Es bietet eine einfache und einheitliche Schnittstelle zum Trainieren, Evaluieren und Exportieren von YOLO-Modellen.

Du kannst es mit pip installieren, indem du den folgenden Befehl in deinem Terminal oder deiner Eingabeaufforderung ausführst:

pip install ultralytics

Wenn bei der Installation oder beim Export Probleme auftreten, findest du in der offiziellen Ultralytics-Dokumentation und im Leitfaden zu häufigen Problemen hilfreiche Tipps zur Fehlerbehebung.

Schritt 2: Axelera-Treiber und Voyager SDK installieren#

Um Modelle auf Axelera-Hardware zu exportieren und auszuführen, musst du auch die Axelera-Treiber und das Voyager SDK installieren. Dadurch kann das System mit der Metis AIPU kommunizieren und erhält die erforderlichen Laufzeit- und Compilerwerkzeuge.

Die folgenden Schritte müssen in einer Linux-Umgebung mit Zugriff auf Axelera-AI-Metis-Hardware ausgeführt werden. Öffne ein Terminal auf deinem System oder verwende eine Zelle in einem Notebook, wenn du Jupyter Notebook auf einem kompatiblen lokalen System ausführst, und führe die folgenden Befehle aus.

Füge zunächst den Schlüssel des Axelera-Repositorys wie folgt hinzu:

sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

Füge als Nächstes wie unten gezeigt das Axelera-Repository zu deinem System hinzu:

sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

Installiere anschließend das Voyager SDK und lade den Metis-Treiber wie folgt:

sudo apt update
sudo apt install -y metis-dkms
sudo modprobe metis

Nach Abschluss dieser Schritte ist dein System bereit, Ultralytics YOLO-Modelle auf Axelera-AI-Metis-Geräten zu exportieren und auszuführen.

Schritt 3: Ultralytics YOLO-Modelle exportieren#

Sobald das Ultralytics-Paket installiert ist, kannst du dein YOLO-Modell laden und als kompiliertes Paket für Metis exportieren. Dabei wird das Modell in ein Format konvertiert, das für die Bereitstellung auf Axelera-AI-Metis-Hardware optimiert ist.

Im folgenden Beispiel verwenden wir ein vortrainiertes YOLO26-Nano-Modell und exportieren es für Metis. Das exportierte Modell wird in einem Verzeichnis namens "yolo26n_axelera_model" gespeichert.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="axelera")

Schritt 4: Inferenz mit dem exportierten Modell ausführen#

Nach dem Export kannst du das Modell laden und Inferenz mit unbekannten Bildern oder Videostreams ausführen. So kannst du Computer-Vision-Aufgaben in Echtzeit direkt auf Axelera-AI-Metis-Geräten erledigen.

Das folgende Codebeispiel zeigt, wie du das exportierte Modell lädst und Inferenz mit einer öffentlich verfügbaren URL ausführst.

axelera_model = YOLO("yolo26n_axelera_model")

results = axelera_model("https://ultralytics.com/images/bus.jpg", save=True)

In diesem Fall analysiert das Modell das Eingabebild und erkennt Objekte. Die Ergebnisse werden im Verzeichnis „runs/detect/predict“ gespeichert.

Wo Ultralytics YOLO und Axelera-AI-Hardware etwas bewirken können#

Sehen wir uns als Nächstes einige typische Edge-KI-Anwendungen an, in denen Ultralytics YOLO-Modelle auf Axelera-AI-Hardware in realen Einsatzszenarien bereitgestellt werden können.

Die Metis-AIPUs von Axelera AI sind für verschiedenste Bereitstellungsumgebungen ausgelegt – von eingebetteten Systemen und Industrie-PCs bis hin zu Robotik und Edge-Servern. Dank leistungsstarker, energieeffizienter Inferenz können Computer-Vision-Anwendungen branchenübergreifend direkt auf dem Gerät ausgeführt werden. Das Voyager SDK umfasst außerdem einen Pipeline-Builder, mit dem ML- und Anwendungsentwickler Modelle für den Einsatz am Netzwerkrand produktreif machen können.

Intelligente Bildverarbeitungssysteme im Einzelhandel am Netzwerkrand#

Im Einzelhandel kann ein Verständnis des Kundenverhaltens in Echtzeit einen erheblichen Unterschied machen.

Mit Ultralytics YOLO-Modellen auf Axelera-AI-Hardware können Geschäfte den Publikumsverkehr überwachen, Personen zählen und Bewegungsmuster im Geschäft in Echtzeit analysieren. Da alles direkt auf dem Gerät ausgeführt wird, lassen sich Erkenntnisse sofort gewinnen, ohne auf eine Cloud-Verbindung angewiesen zu sein. So können Teams schneller reagieren und zugleich den Datenschutz wahren.

Abb. 3. Personen in einem Einkaufszentrum mit Ultralytics YOLO26 erkennen und zählen

Edge-KI für die Inspektion von Versorgungsnetzen und Infrastruktur einsetzen#

Die Instandhaltung großer Infrastrukturen wie Stromleitungen ist komplex und ressourcenintensiv. Solche Netze erstrecken sich oft über weite Entfernungen, wodurch Inspektionen zeitaufwendig, kostspielig und potenziell gefährlich werden. Bleiben Störungen oder frühe Verschleißanzeichen unentdeckt, können sie zu Stromausfällen, Schäden an Anlagen oder Sicherheitsrisiken führen.

Drohnen werden zunehmend eingesetzt, um Inspektionen effizienter zu gestalten. Sie können große Entfernungen zurücklegen, schwer zugängliche Bereiche erreichen und hochauflösende Aufnahmen wichtiger Anlagen erstellen.

Die Kombination von Drohnen und Edge-KI verbessert diese Arbeitsabläufe zusätzlich. Ultralytics-YOLO-Modelle auf Axelera-AI-Hardware ermöglichen Echtzeitanalysen bei Inspektionen: Sie erkennen Mängel, klassifizieren Komponenten und identifizieren Anomalien vor Ort. Dadurch wird weniger manuelle Prüfung benötigt, und die Infrastrukturüberwachung wird schneller und zuverlässiger.

Abb. 4. Erkennung verschiedener Teile einer Stromleitung mit Ultralytics YOLO26

Robotik mit Echtzeit-Erkenntnissen aus der visuellen KI voranbringen#

In der Robotik sind Geschwindigkeit und Reaktionsfähigkeit entscheidend. Ob bei der Navigation durch ein Lager oder beim Einsatz in dynamischen Industrieumgebungen – Roboter müssen ihre Umgebung sofort erfassen.

Ultralytics-YOLO-Modelle auf Axelera-AI-Hardware ermöglichen es Robotern, ihre Umgebung in Echtzeit zu erfassen – von der Erkennung von Hindernissen bis hin zur Personenverfolgung und Objektidentifizierung. So können Systeme sicherer navigieren, sich an dynamische Bedingungen anpassen und autonomer arbeiten, ohne ständig auf eine Cloud-Verbindung angewiesen zu sein.

Die wichtigsten Vorteile beim Ausführen von Ultralytics-YOLO-Modellen auf Metis-AIPUs#

Hier sind einige der wichtigsten Vorteile der Bereitstellung von Ultralytics-YOLO-Modellen auf der Metis-Hardware von Axelera AI mit der neuen Integration:

• Integration in den Ultralytics-Arbeitsablauf: Der Export von YOLO-Modellen für die Bereitstellung auf Metis fügt sich nahtlos in das Ultralytics Python-Paket ein und vereinfacht den Übergang vom Training zur Inferenz.
• Unterstützung mehrerer Computer-Vision-Aufgaben: Du kannst Modelle für Objekterkennung, Segmentierung, Klassifizierung, Posenschätzung und mehr mit YOLOv8, YOLO11 und YOLO26 bereitstellen.
• Modelle parallel ausführen: Metis-AIPUs verfügen über vier unabhängig programmierbare Kerne, die vier separate Modelle parallel ausführen können, um deinen Anforderungen gerecht zu werden.
• Skalierbarkeit für Edge-KI-Anwendungen: Von Einzelhandelsanalysen und industriellen Inspektionen bis hin zu Robotik und intelligenter Infrastruktur unterstützt die Integration zahlreiche praktische Anwendungsfälle.

Die wichtigsten Erkenntnisse#

Ultralytics-YOLO-Modelle und Metis-AIPUs von Axelera AI erleichtern es, leistungsstarke Computer Vision am Edge einzusetzen. Durch die vereinfachte Bereitstellung und die Optimierung von Modellen für spezialisierte Hardware hilft diese Integration, die Lücke zwischen Entwicklung und praktischen Anwendungen zu schließen.

Mit dem weiteren Wachstum von Edge-KI werden effiziente, skalierbare Bereitstellungsoptionen entscheidend sein, um reaktionsschnelle und zuverlässige Systeme zu entwickeln. Diese Zusammenarbeit ist ein Schritt dahin, fortschrittliche visuelle KI branchenübergreifend zugänglicher zu machen.

Möchtest du mehr über KI erfahren? Sieh dir unser GitHub-Repository an, tausche dich mit unserer Community aus und informiere dich über unsere Lizenzoptionen, um dein Computer-Vision-Projekt zu starten. Erfahre, wie Innovationen wie KI im Einzelhandel und Computer Vision im Gesundheitswesen die Zukunft gestalten.