Ultralytics YOLO-Modelle auf Axelera AI-Hardware für Edge-KI bringen

Bei Ultralytics beobachten wir eine wachsende Verlagerung hin zum direkten Ausführen von Computer Vision-Modellen auf Edge-Geräten, da KI immer breiter eingesetzt wird. In unseren Gesprächen mit der Computer Vision-Community, sowohl online als auch persönlich auf aktuellen Tech-Konferenzen, hat unser Team ein steigendes Interesse daran festgestellt, Vision AI näher an den Ort zu bringen, an dem die Daten entstehen.

Von intelligenten Einzelhandelsumgebungen und industrieller Automatisierung bis hin zur Robotik werden Echtzeit-Erkenntnisse immer wichtiger, und sich allein auf die Cloud zu verlassen, reicht nicht mehr aus.

Einfach ausgedrückt beinhaltet Edge AI das lokale Ausführen von KI-Modellen auf Geräten, anstatt Daten zur Verarbeitung an zentralisierte Server zu senden. Dies ermöglicht es, Latenzzeiten zu reduzieren, die Zuverlässigkeit zu verbessern und in Echtzeit auf reale Ereignisse zu reagieren.

Die Bereitstellung von Hochleistungsmodellen in diesen Umgebungen bringt jedoch eigene Herausforderungen mit sich, da begrenzte Rechenressourcen und Energiebeschränkungen erfordern, dass Modelle sowohl effizient als auch für die Hardware, auf der sie ausgeführt werden, optimiert sind.

Ultralytics YOLO-Modelle wie Ultralytics YOLO26 sind für Echtzeit-Computer Vision konzipiert, aber um ihr volles Potenzial an der Edge auszuschöpfen, ist die richtige Kombination aus Software und Hardware erforderlich. Deshalb freuen wir uns, unsere Zusammenarbeit mit Axelera AI bekannt zu geben.

Wir haben eine Partnerschaft mit Axelera AI geschlossen, um eine aktualisierte Export-Integration einzuführen, die eine effiziente Hochleistungsbereitstellung von Ultralytics YOLO-Modellen auf Metis® AI Processing Units (AIPUs) ermöglicht.

Abb. 1: Ein Blick auf eine Metis AI Processing Unit (Quelle)

In diesem Artikel untersuchen wir, wie Ultralytics YOLO-Modelle einfach für die Metis-Bereitstellung kompiliert werden können. Fangen wir an!

Link to this sectionEdge AI ist die Zukunft der Computer Vision#

Während sich Computer Vision-Anwendungen weiterentwickeln, wird der Bedarf an schnellerer und effizienterer Verarbeitung immer entscheidender. Traditionelle Cloud-basierte Ansätze können Latenzzeiten einführen, hängen von einer stabilen Verbindung ab und erfüllen möglicherweise nicht die Echtzeitanforderungen vieler intelligenter Vision-Anwendungsfälle.

Edge AI begegnet diesen Herausforderungen, indem sie es ermöglicht, Modelle direkt auf lokalen Geräten auszuführen, sodass Daten näher an ihrem Ursprung verarbeitet werden können. Betrachte zum Beispiel KI-gestützte Drohnen, die bei Such- und Rettungseinsätzen verwendet werden.

Diese Systeme müssen Videostreams in Echtzeit analysieren, um Menschen, Hindernisse oder Gefahren zu erkennen, oft in abgelegenen Gebieten mit begrenzter oder keiner Internetverbindung. Durch das Ausführen von Computer Vision-Modellen direkt auf der Drohne ermöglicht Edge AI eine schnellere Entscheidungsfindung und eine zuverlässigere Leistung, ohne auf eine Cloud-Infrastruktur angewiesen zu sein.

Dieser Wandel eröffnet neue Möglichkeiten in allen Branchen. Anwendungen wie Echtzeit-Objekterkennung im Einzelhandel, automatisierte Qualitätsprüfung in der Fertigung und Wahrnehmung in der Robotik profitieren alle von schnelleren Reaktionszeiten und größerer Zuverlässigkeit.

Edge AI entwickelt sich schnell zu einem Schlüsselfaktor für die Bereitstellung skalierbarer und reaktionsfähiger Computer Vision-Systeme in realen Umgebungen.

Link to this sectionErkundung der Metis AI Processing Units von Axelera AI#

Bevor wir in die neue Export-Integration eintauchen, machen wir einen Schritt zurück und erfahren mehr über die Metis AI Processing Units von Axelera AI und die Rolle, die sie bei der Ermöglichung effizienter Edge AI spielen.

Axelera AI entwickelt zweckgebundene Hardware, die speziell für die Beschleunigung von KI-Inferenz an der Edge entwickelt wurde. Ein wesentlicher Bestandteil davon ist die Metis AIPU oder AI Processing Unit, ein spezialisierter Prozessor, der dafür gebaut wurde, neuronale Netze effizient auf Edge-Geräten auszuführen.

Im Gegensatz zu universellen Central Processing Units (CPUs) oder sogar Graphics Processing Units (GPUs) sind AIPUs darauf ausgelegt, die spezifischen Berechnungsmuster von KI-Workloads zu bewältigen. Dies ermöglicht es ihnen, eine hohe Leistung bei gleichzeitig geringem Stromverbrauch zu liefern, was für Edge-Umgebungen, in denen Ressourcen oft begrenzt sind, entscheidend ist.

Was den Ansatz von Axelera AI besonders innovativ macht, ist sein Full-Stack-Design. Metis ist mit Digital In-Memory Compute (D-IMC) und RISC-V für hohe Leistung bei der Energieeffizienz gebaut, die Edge Computing erfordert. Die vier Kerne von Metis sind unabhängig programmierbar, was bedeutet, dass du vier Modelle pro Chip parallel ausführen kannst. Zusätzlich zur Hardware enthält das Voyager SDK einen Compiler und eine Runtime, die zusammenarbeiten, um Modelle für die Bereitstellung zu optimieren.

Dies ermöglicht es Entwicklern, effizienter von trainierten Modellen zur produktionsreifen Inferenz überzugehen. Insbesondere machen es Metis AIPUs möglich, fortschrittliche Computer Vision-Modelle, wie Ultralytics YOLO-Modelle, direkt auf Edge-Geräten in Umgebungen von Unternehmen, Einzelhandel, Gesundheitswesen und Fertigung bis hin zu Landwirtschafts- und Industrieausrüstung sowie Satelliten auszuführen.

Link to this sectionExportieren von Ultralytics YOLO-Modellen für die Metis-Bereitstellung#

Das Ultralytics Python-Paket bietet eine einheitliche Schnittstelle für das Training, die Evaluierung und die Bereitstellung von YOLO-Modellen für eine Reihe von Computer Vision-Aufgaben. YOLO-Modelle werden typischerweise mit PyTorch entwickelt und trainiert, was sich gut für Experimente und die Modellentwicklung eignet.

Wenn diese Modelle jedoch auf spezialisierter Edge-Hardware bereitgestellt werden, müssen sie in ein Format konvertiert werden, das für das Zielgerät optimiert ist. Hier kommen die Export-Integrationen ins Spiel, die vom Ultralytics Python-Paket unterstützt werden.

Ultralytics bietet eine Reihe von Exportoptionen, mit denen YOLO-Modelle je nach Bereitstellungsziel in verschiedene Formate konvertiert werden können, wie z. B. ONNX, TensorRT und andere hardware-spezifische Backends. Diese Integrationen vereinfachen den Prozess der Vorbereitung von Modellen für reale Anwendungen, indem sie die notwendigen Optimierungs- und Konvertierungsschritte übernehmen.

Darauf aufbauend hat Ultralytics eine aktualisierte Export-Integration mit Axelera AI eingeführt, die es ermöglicht, YOLO-Modelle für die Bereitstellung auf Metis AIPUs zu exportieren.

Während des Exports wird das Modell kompiliert und in eine optimierte Repräsentation quantisiert, die speziell für Axelera-Hardware entwickelt wurde. Dieser Prozess erstellt ein kompiliertes Modell im ".axm"-Format zusammen mit den für die Bereitstellung und Inferenz erforderlichen Metadaten.

Abb. 2: Ultralytics YOLO-Modelle können auf Metis AIPUs ausgeführt werden. (Quelle)

Die Integration unterstützt eine breite Palette an Computer-Vision-Aufgaben für Ultralytics YOLOv8, Ultralytics YOLO11 und Ultralytics YOLO26 Modelle, einschließlich Objekterkennung, Pose-Schätzung, Instanzsegmentierung, orientierter Bounding-Box (OBB)-Erkennung und Bildklassifizierung. Während die meisten Aufgaben direkt über den Export-Workflow unterstützt werden, kann die YOLO26-Segmentierung über die Model Zoo mit dem Voyager SDK genutzt werden.

Diese erweiterte Unterstützung gibt Entwicklern die Flexibilität, verschiedene Arten von Vision-Modellen je nach ihrer Anwendung bereitzustellen, von der Erkennung von Objekten in Echtzeit bis hin zum Verständnis von Szenen, dem Verfolgen von Bewegungen und der Analyse komplexer visueller Daten.

Nach dem Export können Modelle bereitgestellt und ausgeführt werden, ohne zur Inferenzzeit auf PyTorch angewiesen zu sein. Stattdessen werden sie unter Verwendung der Voyager SDK-Runtime ausgeführt, die das Erstellen von End-to-End-Pipelines für Aufgaben wie Videoverarbeitung, Echtzeit-Erkennung und Tracking direkt auf Edge-Geräten unterstützt.

Link to this sectionErste Schritte mit dem Exportieren von Ultralytics YOLO-Modellen#

Da wir nun ein besseres Verständnis der neuen Export-Integration haben, gehen wir durch, wie man Ultralytics YOLO-Modelle in dieses benutzerdefinierte Format exportiert und sie auf Metis-Hardware an der Edge ausführt.

Link to this sectionSchritt 1: Installiere das Ultralytics Python-Paket#

Um zu beginnen, musst du zuerst das Ultralytics Python-Paket installieren. Es bietet eine einfache und konsistente Schnittstelle für das Training, die Evaluierung und den Export von YOLO-Modellen.

Du kannst es mit pip installieren, indem du den folgenden Befehl in deinem Terminal oder deiner Eingabeaufforderung ausführst:

pip install ultralytics

Wenn du während der Installation oder des Exports auf Probleme stößt, sind die offizielle Ultralytics-Dokumentation und der Leitfaden für häufige Probleme hervorragende Ressourcen zur Fehlerbehebung.

Link to this sectionSchritt 2: Installation der Axelera-Treiber und des Voyager SDK#

Um Modelle auf Axelera-Hardware zu exportieren und auszuführen, musst du auch die Axelera-Treiber und das Voyager SDK installieren. Dieser Schritt ermöglicht die Kommunikation mit der Metis AIPU und stellt die erforderlichen Runtime- und Compiler-Tools bereit.

Die folgenden Schritte müssen in einer Linux-Umgebung mit Zugriff auf Axelera AI Metis-Hardware durchgeführt werden. Öffne ein Terminal auf deinem System oder verwende eine Notebook-Zelle, wenn du Jupyter Notebook auf einem kompatiblen lokalen Setup ausführst, und führe die unten stehenden Befehle aus.

Beginne damit, den Axelera-Repository-Schlüssel wie folgt hinzuzufügen:

sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

Füge als Nächstes, wie unten gezeigt, das Axelera-Repository deinem System hinzu:

sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

Installiere dann das Voyager SDK und lade den Metis-Treiber wie folgt:

sudo apt update
sudo apt install -y metis-dkms=1.4.16
sudo modprobe metis

Sobald diese Schritte abgeschlossen sind, ist dein System bereit, Ultralytics YOLO-Modelle auf Axelera AI Metis-Geräten zu exportieren und auszuführen.

Link to this sectionSchritt 3: Exportieren von Ultralytics YOLO-Modellen#

Sobald das Ultralytics-Paket installiert ist, kannst du dein YOLO-Modell laden und es als kompiliertes Paket für Metis exportieren. Dieser Prozess konvertiert das Modell in ein Format, das für die Bereitstellung auf Axelera AI Metis-Hardware optimiert ist.

Im Beispiel unten verwenden wir ein vortrainiertes YOLO26 Nano-Modell und exportieren es für Metis. Das exportierte Modell wird in einem Verzeichnis namens "/yolo26n_axelera_model" gespeichert.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="axelera")

Link to this sectionSchritt 4: Inferenz mit dem exportierten Modell ausführen#

Nach dem Exportieren des Modells kannst du es laden und Inferenz auf ungesehenen Bildern oder Videostreams ausführen. Dies ermöglicht Echtzeit-Computer Vision-Aufgaben direkt auf Axelera AI Metis-Geräten.

Zum Beispiel zeigt der Code-Schnipsel unten, wie man das exportierte Modell lädt und Inferenz auf einer öffentlich verfügbaren URL ausführt.

axelera_model = YOLO("yolo26n_axelera_model")

results = axelera_model("https://ultralytics.com/images/bus.jpg", save=True)

In diesem Fall analysiert das Modell das Eingabebild und erkennt Objekte, wobei die Ergebnisse im Verzeichnis "runs/detect/predict" gespeichert werden.

Link to this sectionWo Ultralytics YOLO und Axelera AI-Hardware einen Einfluss haben können#

Lass uns als Nächstes einige gängige Edge AI-Anwendungen besprechen, bei denen Ultralytics YOLO-Modelle in realen Szenarien auf Axelera AI-Hardware bereitgestellt werden können.

Die Metis AIPUs von Axelera AI sind für eine Reihe von Bereitstellungsumgebungen konzipiert, von eingebetteten Systemen und Industrie-PCs bis hin zu Robotik und Edge-Servern. Mit leistungsstarker, energieeffizienter Inferenz ermöglichen sie es, Computer Vision-Anwendungen branchenübergreifend direkt auf dem Gerät auszuführen. Das Voyager SDK enthält zudem einen Pipeline-Builder für ML- und APP-Ingenieure, um Modelle für die Edge zu produktivieren.

Link to this sectionIntelligente Vision-Systeme im Einzelhandel, die an der Edge betrieben werden#

In Einzelhandelsumgebungen kann das Verständnis des Kundenverhaltens in Echtzeit einen erheblichen Unterschied machen.

Unter Verwendung von Ultralytics YOLO-Modellen, die auf Axelera AI-Hardware laufen, können Geschäfte den Kundenverkehr überwachen, Personen zählen und Bewegungsmuster im Laden in Echtzeit analysieren. Da alles auf dem Gerät läuft, können Erkenntnisse sofort generiert werden, ohne auf eine Cloud-Verbindung angewiesen zu sein, was Teams hilft, schneller zu reagieren und gleichzeitig die Datensicherheit zu wahren.

Abb. 3: Erkennen und Zählen von Personen in einem Einkaufszentrum mit YOLO26

Link to this sectionVerwendung von Edge AI für die Inspektion von Versorgungs- und Infrastruktureinrichtungen#

Die Instandhaltung großflächiger Infrastrukturen wie Stromleitungen ist komplex und ressourcenintensiv. Diese Netzwerke erstrecken sich oft über riesige Distanzen, was Inspektionen zeitaufwendig, kostspielig und potenziell gefährlich macht. Wenn Fehler oder erste Anzeichen von Verschleiß unentdeckt bleiben, können sie zu Ausfällen, Sachschäden oder Sicherheitsrisiken eskalieren.

Drohnen werden zunehmend eingesetzt, um die Inspektionseffizienz zu verbessern. Sie können lange Strecken zurücklegen, schwer zugängliche Bereiche erreichen und hochauflösende Bilder kritischer Anlagen erfassen.

Die Kombination von Drohnen mit Edge AI verbessert diese Workflows weiter. Ultralytics YOLO-Modelle, die auf Axelera AI-Hardware laufen, ermöglichen eine Echtzeit-Analyse während der Inspektionen, identifizieren Fehler, klassifizieren Komponenten und erkennen Anomalien vor Ort. Dies reduziert den Bedarf an manueller Überprüfung und unterstützt eine schnellere, zuverlässigere Infrastrukturüberwachung.

Abb. 4: Erkennen verschiedener Teile einer Stromleitung mit YOLO26

Link to this sectionRobotik mit Echtzeit-Vision AI-Erkenntnissen antreiben#

Für die Robotik sind Geschwindigkeit und Reaktionsfähigkeit entscheidend. Egal, ob sie ein Lagerhaus navigieren oder in dynamischen Industrieumgebungen arbeiten, Roboter müssen ihre Umgebung sofort interpretieren.

Ultralytics YOLO-Modelle, die auf Axelera AI-Hardware laufen, ermöglichen es Robotern, ihre Umgebung in Echtzeit zu interpretieren, vom Erkennen von Hindernissen bis hin zum Verfolgen von Personen und Identifizieren von Objekten. Dies ermöglicht es Systemen, sicherer zu bewegen, sich an dynamische Bedingungen anzupassen und mit größerer Autonomie zu arbeiten, ohne von einer ständigen Cloud-Verbindung abhängig zu sein.

Link to this sectionHauptvorteile des Ausführens von Ultralytics YOLO-Modellen auf Metis AIPUs#

Hier sind einige der Hauptvorteile der Bereitstellung von Ultralytics YOLO-Modellen auf der Metis-Hardware von Axelera AI unter Verwendung der neuen Integration:

• Nahtlose Integration in den Ultralytics-Workflow: Das Exportieren von YOLO-Modellen für die Metis-Bereitstellung fügt sich natürlich in das Ultralytics Python-Paket ein und vereinfacht den Übergang vom Training zur Inferenz.
• Unterstützung für mehrere Computer Vision-Aufgaben: Du kannst Modelle für Objekterkennung, Pose-Schätzung, Segmentierung, Klassifizierung und mehr über YOLOv8, YOLO11 und YOLO26 hinweg bereitstellen.
• Modelle parallel ausführen: Metis AIPUs sind mit vier unabhängig programmierbaren Kernen ausgestattet, die in der Lage sind, vier separate Modelle parallel auszuführen, um deinen Anforderungen gerecht zu werden.
• Skalierbar über Edge AI-Anwendungen hinweg: Von Einzelhandelsanalytik und industrieller Inspektion bis hin zu Robotik und intelligenter Infrastruktur unterstützt die Integration eine breite Palette von realen Anwendungsfällen.

Link to this sectionWichtige Erkenntnisse#

Ultralytics YOLO-Modelle und die Metis AIPUs von Axelera AI machen es einfacher, leistungsstarke Computer Vision an die Edge zu bringen. Durch die Vereinfachung der Bereitstellung und die Optimierung von Modellen für spezialisierte Hardware trägt diese Integration dazu bei, die Lücke zwischen Entwicklung und realen Anwendungen zu schließen.

Da Edge AI weiter wächst, werden effiziente, skalierbare Bereitstellungsoptionen der Schlüssel zum Aufbau reaktionsfähiger und zuverlässiger Systeme sein. Diese Zusammenarbeit ist ein Schritt dazu, fortschrittliche Vision AI branchenübergreifend zugänglicher zu machen.

Möchtest du mehr über KI erfahren? Erkunde unser GitHub-Repository, vernetze dich mit unserer Community und sieh dir unsere Lizenzoptionen an, um dein Computer Vision-Projekt zu starten. Finde heraus, wie Innovationen wie KI im Einzelhandel und Computer Vision im Gesundheitswesen die Zukunft gestalten.