Axelera AI liefert 34 FPS Edge-KI-Inferenz mit Ultralytics YOLO

Axelera AI ist ein europäisches Halbleiterunternehmen, das leistungsstarke, energieeffiziente KI-Chips für die Ausführung von computer vision am Edge entwickelt. So werden beispielsweise ihre Metis AI Processing Units (AIPUs) in Branchen wie dem Einzelhandel, der Sicherheitstechnik und der Fertigung eingesetzt.

Um es Kunden zu erleichtern, KI-Anwendungen zu erstellen und bereitzustellen, hat Axelera Ultralytics YOLO models in sein Voyager SDK integriert – eine Softwareplattform, die Modelloptimierung, -bereitstellung und -beschleunigung auf Metis AIPUs optimiert und Echtzeit-Vision-AI schneller, einfacher und skalierbarer macht.

Neudefinition der Vision-KI-Hardwarebeschleunigung#

Axelera AI wurde 2021 gegründet und hat seinen Sitz in den Niederlanden. Das Unternehmen hat sich zum Ziel gesetzt, ein grundlegendes Problem zu lösen: Traditionelle KI-Hardware wurde für die Cloud und nicht für das edge entwickelt. Um diese Lücke zu schließen, hat das Unternehmen die Metis AIPU entwickelt.

Es handelt sich um einen leistungsstarken, stromsparenden Chip, der speziell für Edge-Workloads konzipiert wurde – KI-Aufgaben, die lokal auf Geräten ausgeführt werden, bei denen Geschwindigkeit, Datenschutz und Energieeffizienz entscheidend sind.

Unterstützt wird er durch ihre proprietäre Digital In-Memory Compute (D-IMC)-Technologie, die es ermöglicht, Daten direkt dort zu verarbeiten, wo sie gespeichert sind, und Latenz sowie Energieverbrauch drastisch reduziert. Mit einem vollständig integrierten Software-Stack und der Mission, KI zu demokratisieren, macht Axelera leistungsstarke KI zugänglicher.

Die Herausforderung beim Ausführen von Modellen auf Edge-KI-Hardware#

Um ein nahtloses KI-Erlebnis am Edge zu bieten, zielte Axelera AI darauf ab, mehr als nur Hochleistungshardware bereitzustellen. Kunden benötigten zudem eine einfache und zuverlässige Möglichkeit, Echtzeit-computer vision-Lösungen auszuführen, ohne komplizierte Tools oder zeitaufwändige Anpassungen zu erfordern. Viele bestehende Modelle waren zu groß, zu langsam oder nicht gut für ressourcenbeschränkte Umgebungen geeignet.

Einzelhandelsanalysen, Fabrikautomatisierung und Überwachungssysteme sind oft auf schnelle und genaue visuelle Erkenntnisse angewiesen, um den Betrieb zu unterstützen. Traditionelle Modelle und cloudbasierte Lösungen können jedoch in der Regel die Anforderungen an niedrige Latenz, Energieeffizienz und On-Device-Verarbeitung dieser Edge-KI-Anwendungen nicht erfüllen.

Axelera suchte nach einer Modell-Suite, die präzise, einfach zu implementieren und effizient auf ihren Metis AI Processing Units ausführbar war. Die richtige Lösung sollte die Hardware-Fähigkeiten ergänzen und gleichzeitig die Entwicklung vereinfachen sowie die Bereitstellung für eine Vielzahl von Edge-KI-Anwendungsfällen beschleunigen.

Beschleunigte KI-Inferenzen am Edge mit Ultralytics YOLO#

Axelera AI hat Ultralytics YOLO-Modelle in sein Voyager SDK integriert, um das Erstellen und Bereitstellen von Edge-KI-Anwendungen schneller, einfacher und skalierbarer zu machen. Das SDK enthält einen Model Zoo mit sofort einsatzbereiten YOLO-Modellen und automatisiert die gesamte Pipeline, einschließlich Vorverarbeitung, Inferenz und Nachbearbeitung, optimiert für Metis AI Processing Units.

Abb. 1. Metis AI Processing Unit (AIPU).

Diese Integration ermöglicht es Kunden, vorab trainierte Ultralytics YOLO-Modelle sofort einzusetzen oder eigene Modelle mit nahtloser Beschleunigung auf der Edge-Hardware zu verwenden. Mit Unterstützung für parallele und kaskadierte Modellausführung ermöglichen Metis AIPUs fortgeschrittene Multi-Modell-Setups wie Posenschätzung gefolgt von Segmentierung. Dies ist ideal für komplexe Aufgaben im Einzelhandel, in der Sicherheitstechnik und der Industrieautomatisierung.

Die Kombination aus Echtzeit-computer vision tasks, die von Ultralytics YOLO-Modellen unterstützt werden, und Axeleras effizientem Hardware- und Software-Stack liefert eine außergewöhnliche Leistung pro Watt und pro Dollar. Für Kunden bedeutet dies genauere Ergebnisse, eine schnellere Bereitstellung und eine geringere Hürde bei der Skalierung von Vision AI am Edge.

Warum solltest du dich für Ultralytics YOLO Modelle entscheiden?#

Axelera AI ist eine Partnerschaft mit Ultralytics eingegangen, um Ultralytics YOLO-Modelle aufgrund ihrer außergewöhnlichen Balance aus Präzision, Geschwindigkeit und Benutzerfreundlichkeit in seine Plattform zu integrieren. Dank der Unterstützung für mehrere Ultralytics YOLO-Varianten können Kunden von Axelera AI eine breite Palette an Workloads und Leistungsanforderungen auf der Metis AIPU evaluieren.

Durch eine Ultralytics Enterprise License bietet Axelera Zugriff auf das vollständige Paket an YOLO-Modellen zur Evaluierung und Entwicklung. Für die kommerzielle Bereitstellung müssen Kunden ihre eigene Lizenz direkt von Ultralytics über das Lizenzformular erwerben, um die Einhaltung von Vorschriften zu gewährleisten und skalierbare Innovationen in Vision AI am Edge zu unterstützen.

Skalierbare Nutzung von Ultralytics YOLO-Modellen mit dem Voyager SDK von Axelera AI#

Mit Ultralytics YOLO-Modellen und dem Voyager SDK von Axelera AI können Anwender präzise, latenzarme Computer-Vision-Anwendungen direkt auf Metis AI Processing Units bereitstellen. Zudem ermöglicht der Zugriff auf mehrere YOLO-Varianten den Kunden, die Leistung basierend auf den spezifischen Anforderungen ihrer Anwendung anzupassen.

Axelera AI hat beispielsweise erlebt, wie Kunden YOLO-gestützte Lösungen in einer Vielzahl von Bereichen getestet haben, wie zum Beispiel:

• Einzelhandel: Multi-Modell-Pipelines, die Posenschätzung, Segmentierung und Objekterkennung kombinieren, können verwendet werden, um Aufgaben wie Inventurdifferenzreduzierung und Bestandsverfolgung zu unterstützen. Diese Bereitstellungen laufen effizient auf Embedded-Plattformen wie dem Raspberry Pi 5 in Verbindung mit der Metis AIPU.
• Fertigung: Kunden können eine parallele Modellausführung nutzen, um simultane Aufgaben wie Fehlererkennung, Produktklassifizierung und Posenschätzung auf einem einzigen Chip durchzuführen, um den Durchsatz zu verbessern und Hardwarekosten zu senken.
• Überwachung: Die Echtzeit-object detection-Funktionen von YOLO können verwendet werden, um 4K- und 8K-Videostreams in voller Auflösung zu analysieren, was eine hochpräzise Sicherheitsüberwachung und Situationserkennung in kritischen Umgebungen ermöglicht. Dies ist eine weitaus bessere Lösung als herkömmliches Downscaling bei hochauflösenden Kameras.
• Gesundheitswesen: Optimierte YOLO-Pipelines können die Tumoridentifikation unterstützen und bieten eine hohe Inferenzgeschwindigkeit sowie verlässliche Präzision für die medizinische Bildgebung direkt auf dem Gerät.

Diese Anwendungsfälle zeigen, wie die Edge-KI-Hardware von Axelera AI und Ultralytics YOLO-Modelle leistungsstarke, energieeffiziente Vision-KI-Innovationen branchenübergreifend stärken.

Die nächste Welle der Edge-KI mit Ultralytics YOLO vorantreiben#

Während Axelera AI sich weiterhin darauf konzentriert, den Zugang zu leistungsstarker Edge-KI zu erweitern, führt das Unternehmen starke Hardware und zuverlässige Vision-Modelle zusammen, um Kunden beim Bau intelligenterer und schnellerer Anwendungen zu unterstützen.

Mit den Ultralytics YOLO-Modellen, die über das Voyager SDK und die Metis AIPU hardware verfügbar sind, können Benutzer problemlos Echtzeit-Computer-Vision-Lösungen branchenübergreifend entwickeln und skalieren. Diese Zusammenarbeit unterstützt eine wachsende Community von Entwicklern und Unternehmen, die daran arbeiten, KI näher dorthin zu bringen, wo Daten generiert werden, um Effizienz, Reaktionsfähigkeit und Innovation am Edge zu verbessern.

Bist du bereit, deine Edge-KI-Reise zu beschleunigen? Erkunde unser GitHub repository, um zu sehen, wie YOLO-Modelle Innovationen wie AI in retail und computer vision in logistics antreiben. Probiere unsere Vision AI-Tools aus, erfahre mehr über licensing options und entdecke, wie du leistungsstarke, energieeffiziente Computer Vision am Edge nutzen kannst.