Axelera AI liefert 34 FPS Edge-KI-Inferenz mit Ultralytics YOLO

Axelera AI ist ein europäisches Halbleiterunternehmen, das leistungsstarke, energieeffiziente KI-Chips für den Einsatz von Computer Vision am Edge entwickelt. Beispielsweise werden deren Metis AI Processing Units (AIPUs) in Branchen wie Einzelhandel, Sicherheit und Fertigung eingesetzt.

Um es Kunden zu erleichtern, KI-Anwendungen zu erstellen und bereitzustellen, hat Axelera Ultralytics YOLO-Modelle in sein Voyager SDK integriert – eine Softwareplattform, die Modelloptimierung, Bereitstellung und Beschleunigung auf Metis AIPUs optimiert und so Vision-KI in Echtzeit schneller, einfacher und skalierbarer macht.

Link to this sectionNeudefinition der Vision-KI-Hardwarebeschleunigung#

Axelera AI wurde 2021 mit Sitz in den Niederlanden gegründet und nahm sich vor, ein grundlegendes Problem zu lösen: Traditionelle KI-Hardware wurde für die Cloud entwickelt, nicht für das Edge. Um diese Lücke zu schließen, entwickelte das Unternehmen die Metis AIPU.

Es handelt sich um einen leistungsstarken, stromsparenden Chip, der speziell für Edge-Workloads konzipiert wurde – KI-Aufgaben, die lokal auf Geräten ausgeführt werden, bei denen Geschwindigkeit, Datenschutz und Energieeffizienz entscheidend sind.

Unterstützt wird er durch ihre proprietäre Digital In-Memory Compute (D-IMC)-Technologie, die es ermöglicht, Daten direkt dort zu verarbeiten, wo sie gespeichert sind, und Latenz sowie Energieverbrauch drastisch reduziert. Mit einem vollständig integrierten Software-Stack und der Mission, KI zu demokratisieren, macht Axelera leistungsstarke KI zugänglicher.

Link to this sectionDie Herausforderung beim Ausführen von Modellen auf Edge-KI-Hardware#

Um ein nahtloses KI-Erlebnis am Edge zu bieten, wollte Axelera AI mehr als nur leistungsstarke Hardware bereitstellen. Kunden benötigten zudem einen einfachen und zuverlässigen Weg, um Echtzeit-Computer Vision-Lösungen auszuführen, ohne komplizierte Tools oder zeitaufwendige Anpassungen nutzen zu müssen. Viele existierende Modelle waren zu groß, zu langsam oder für ressourcenbeschränkte Umgebungen ungeeignet.

Einzelhandelsanalysen, Fabrikautomatisierung und Überwachungssysteme sind oft auf schnelle und genaue visuelle Erkenntnisse angewiesen, um den Betrieb zu unterstützen. Traditionelle Modelle und cloudbasierte Lösungen können jedoch in der Regel die Anforderungen an niedrige Latenz, Energieeffizienz und On-Device-Verarbeitung dieser Edge-KI-Anwendungen nicht erfüllen.

Axelera suchte nach einer Modell-Suite, die präzise, einfach zu implementieren und effizient auf ihren Metis AI Processing Units ausführbar war. Die richtige Lösung sollte die Hardware-Fähigkeiten ergänzen und gleichzeitig die Entwicklung vereinfachen sowie die Bereitstellung für eine Vielzahl von Edge-KI-Anwendungsfällen beschleunigen.

Link to this sectionBeschleunigte KI-Inferenzen am Edge mit Ultralytics YOLO#

Axelera AI hat Ultralytics YOLO-Modelle in sein Voyager SDK integriert, um die Entwicklung und Bereitstellung von Edge-KI-Anwendungen schneller, einfacher und skalierbarer zu machen. Das SDK enthält einen Model Zoo mit sofort einsatzbereiten YOLO-Modellen und automatisiert die gesamte Pipeline – von der Vorverarbeitung über die Inferenz bis hin zur Nachverarbeitung –, optimiert für Metis AI Processing Units.

Abb. 1. Metis AI Processing Unit (AIPU).

Diese Integration ermöglicht es Kunden, vorab trainierte Ultralytics YOLO-Modelle sofort einzusetzen oder eigene Modelle mit nahtloser Beschleunigung auf der Edge-Hardware zu verwenden. Mit Unterstützung für parallele und kaskadierte Modellausführung ermöglichen Metis AIPUs fortgeschrittene Multi-Modell-Setups wie Posenschätzung gefolgt von Segmentierung. Dies ist ideal für komplexe Aufgaben im Einzelhandel, in der Sicherheitstechnik und der Industrieautomatisierung.

Die Kombination aus Echtzeit-Computer Vision-Aufgaben, die von Ultralytics YOLO-Modellen unterstützt werden, und Axeleras effizientem Hardware- und Software-Stack liefert eine außergewöhnliche Leistung pro Watt und pro Dollar. Für Kunden bedeutet dies genauere Ergebnisse, eine schnellere Bereitstellung und eine niedrigere Hürde bei der Skalierung von Vision-KI am Edge.

Link to this sectionWarum solltest du dich für Ultralytics YOLO Modelle entscheiden?#

Axelera AI ist eine Partnerschaft mit Ultralytics eingegangen, um Ultralytics YOLO-Modelle aufgrund ihrer außergewöhnlichen Balance aus Präzision, Geschwindigkeit und Benutzerfreundlichkeit in seine Plattform zu integrieren. Dank der Unterstützung für mehrere Ultralytics YOLO-Varianten können Kunden von Axelera AI eine breite Palette an Workloads und Leistungsanforderungen auf der Metis AIPU evaluieren.

Durch eine Ultralytics Enterprise License bietet Axelera Zugang zur gesamten Palette an YOLO-Modellen für Evaluierung und Entwicklung. Für die kommerzielle Bereitstellung müssen Kunden ihre eigene Lizenz direkt von Ultralytics über das Lizenzformular beziehen, was die Compliance sicherstellt und skalierbare Innovationen in der Vision-KI am Edge unterstützt.

Link to this sectionSkalierbare Nutzung von Ultralytics YOLO-Modellen mit dem Voyager SDK von Axelera AI#

Mit Ultralytics YOLO-Modellen und dem Voyager SDK von Axelera AI können Anwender präzise, latenzarme Computer-Vision-Anwendungen direkt auf Metis AI Processing Units bereitstellen. Zudem ermöglicht der Zugriff auf mehrere YOLO-Varianten den Kunden, die Leistung basierend auf den spezifischen Anforderungen ihrer Anwendung anzupassen.

Axelera AI hat beispielsweise erlebt, wie Kunden YOLO-gestützte Lösungen in einer Vielzahl von Bereichen getestet haben, wie zum Beispiel:

• Einzelhandel: Multi-Modell-Pipelines, die Posenschätzung, Segmentierung und Objekterkennung kombinieren, können verwendet werden, um Aufgaben wie Inventurdifferenzreduzierung und Bestandsverfolgung zu unterstützen. Diese Bereitstellungen laufen effizient auf Embedded-Plattformen wie dem Raspberry Pi 5 in Verbindung mit der Metis AIPU.
• Fertigung: Kunden können eine parallele Modellausführung nutzen, um simultane Aufgaben wie Fehlererkennung, Produktklassifizierung und Posenschätzung auf einem einzigen Chip durchzuführen, um den Durchsatz zu verbessern und Hardwarekosten zu senken.
• Überwachung: Die Echtzeit-Objekterkennungs-Funktionen von YOLO können zur Analyse von 4K- und 8K-Videostreams in voller Auflösung genutzt werden, was eine hochpräzise Sicherheitsüberwachung und Situationserkennung in kritischen Umgebungen erleichtert. Dies ist eine weitaus bessere Lösung als das traditionelle Herunterskalieren bei hochauflösenden Kameras.
• Gesundheitswesen: Optimierte YOLO-Pipelines können die Tumoridentifikation unterstützen und bieten eine hohe Inferenzgeschwindigkeit sowie verlässliche Präzision für die medizinische Bildgebung direkt auf dem Gerät.

Diese Anwendungsfälle zeigen, wie die Edge-KI-Hardware von Axelera AI und Ultralytics YOLO-Modelle leistungsstarke, energieeffiziente Vision-KI-Innovationen branchenübergreifend stärken.

Link to this sectionDie nächste Welle der Edge-KI mit Ultralytics YOLO vorantreiben#

Während Axelera AI sich weiterhin darauf konzentriert, den Zugang zu leistungsstarker Edge-KI zu erweitern, führt das Unternehmen starke Hardware und zuverlässige Vision-Modelle zusammen, um Kunden beim Bau intelligenterer und schnellerer Anwendungen zu unterstützen.

Mit Ultralytics YOLO-Modellen, die über das Voyager SDK und die Metis AIPU-Hardware verfügbar sind, können Benutzer problemlos Echtzeit-Computer-Vision-Lösungen branchenübergreifend entwickeln und skalieren. Diese Zusammenarbeit unterstützt eine wachsende Community von Entwicklern und Unternehmen, die daran arbeiten, KI näher dorthin zu bringen, wo Daten entstehen, und so die Effizienz, Reaktionsfähigkeit und Innovation am Edge zu verbessern.

Bist du bereit, deine Edge-KI-Reise zu beschleunigen? Erkunde unser GitHub-Repository, um zu sehen, wie YOLO-Modelle Innovationen wie KI im Einzelhandel und Computer Vision in der Logistik vorantreiben. Sammle praktische Erfahrungen mit unseren Vision-KI-Tools, informiere dich über Lizenzoptionen und entdecke, wie du leistungsstarke, energieeffiziente Computer Vision am Edge erschließen kannst.