STMicroelectronics lässt Ultralytics YOLO auf einem MCU mit nur 9,4 mJ pro Inferenz laufen

Mit der zunehmenden Einführung von KI in verschiedenen Branchen wächst die Nachfrage nach leistungsstarken, stromsparenden Lösungen, die Echtzeit-Inferenz am Edge ausführen können. Um diesem technologischen Bedarf gerecht zu werden, führte STMicroelectronics den STM32N6 Mikrocontroller ein, der über eine integrierte Neural Processing Unit (NPU) verfügt, die für eingebettete KI-Workloads entwickelt wurde.

Durch das Ausführen von Ultralytics YOLO Modellen auf dem STM32N6 hat STMicroelectronics gezeigt, dass präzise und effiziente eingebettete Vision AI auf Mikrocontrollern möglich ist, was neue Möglichkeiten für skalierbare On-Device-Intelligenz in Bereichen wie Smart Cities, Gesundheitswesen und Unterhaltungselektronik eröffnet.

Link to this sectionErkundung von Vision AI für stromsparende Geräte am Edge#

STMicroelectronics ist ein weltweit führendes Unternehmen in der Halbleitertechnologie mit über 50.000 Mitarbeitern und mehr als 200.000 Kunden weltweit. Sie entwerfen und bauen Chips, die Anwendungen von Elektrofahrzeugen und Industrieanlagen bis hin zu Smart-Home-Geräten und Unterhaltungselektronik ermöglichen.

Da immer mehr Branchen auf KI setzen, um Geräte intelligenter und reaktionsschneller zu machen, konzentriert sich STMicroelectronics darauf, diese Funktionen direkt an den Edge zu bringen. Ihr STM32N6 Mikrocontroller beispielsweise, ein leistungsstarker und energieeffizienter Chip, kann On-Device-KI-Aufgaben wie computer vision bewältigen.

Um Entwicklern beim Aufbau von Embedded-Vision-Anwendungen auf dem STM32N6 zu helfen, suchte STMicroelectronics nach flexiblen, leistungsstarken Modellen, die effizient auf einem Mikrocontroller laufen konnten. Ultralytics YOLO Modelle erwiesen sich als hervorragende Lösung und bieten eine zuverlässige Kombination aus Geschwindigkeit, Genauigkeit und einfacher Integration.

Link to this sectionDie Einschränkungen bei der Aktivierung KI-gestützter eingebetteter Systeme#

Bevor sich das Konzept der Edge AI allgemein durchsetzte, wurden Computer Vision-Modelle typischerweise für große, zentralisierte Systeme wie Cloud-Server oder GPUs (Graphics Processing Units) entwickelt. Diese Plattformen boten die notwendigen Rechenkapazitäten für das Training und die Bereitstellung großer Modelle, brachten jedoch auch Einschränkungen wie hohen Energieverbrauch, Netzwerkabhängigkeit, Latenz und höhere Betriebskosten mit sich.

Da das Interesse an der Implementierung intelligenterer real-time applications in Branchen wie dem Gesundheitswesen, der Unterhaltungselektronik und Smart Cities wuchs, wurde deutlich, dass die Verlagerung der KI-Verarbeitung näher an den Entstehungsort der Daten, also auf das Gerät selbst, sowohl eine technische Notwendigkeit als auch eine strategische Chance war.

Das Ausführen von KI-Modellen auf stromsparenden Mikrocontrollern kann jedoch eine Herausforderung sein. Diese Geräte verfügen im Allgemeinen über begrenzten Speicher, geringe Rechenleistung und begrenzte Energiekapazitäten, was es schwierig macht, komplexe Vision-Modelle bereitzustellen, ohne die Leistung oder Genauigkeit zu beeinträchtigen.

STMicroelectronics musste eine Reihe von Modellen identifizieren, die vielseitig genug waren, um zuverlässige Echtzeit-Computer-Vision-Funktionen auf ihrem STM32N6 Mikrocontroller bereitzustellen, ohne dass Entwickler ihre Modelle oder Arbeitsabläufe drastisch vereinfachen mussten. Ihr Ziel war es, aussagekräftige On-Device-KI zu liefern und gleichzeitig die strengen Einschränkungen eingebetteter Systeme einzuhalten.

Link to this sectionOptimierte Bereitstellung von YOLO Modellen auf Mikrocontrollern#

Um fortschrittliche KI auf stromsparenden eingebetteten Geräten zu ermöglichen, führte STMicroelectronics den STM32N6 ein, einen leistungsstarken Mikrocontroller, der mit dem Neural-ART Accelerator™ ausgestattet ist. Dies ist eine hauseigene Neural Processing Unit (NPU), die speziell für Edge-KI-Workloads entwickelt wurde. Diese Technologie ermöglicht es Entwicklern, KI-Inferenzen direkt auf dem Gerät auszuführen, wodurch die Abhängigkeit von Cloud-Computing verringert und gleichzeitig Geschwindigkeit, Reaktionsfähigkeit und Energieeffizienz verbessert werden.

STMicroelectronics hat mit Ultralytics zusammengearbeitet, um die Fähigkeiten des STM32N6 zu bewerten und zu präsentieren, indem Ultralytics YOLO Modelle auf dem Mikrocontroller ausgeführt wurden. Ultralytics YOLO Modelle sind für ihre Ausgewogenheit von Geschwindigkeit und Genauigkeit bekannt und eignen sich hervorragend für ressourcenbeschränkte Umgebungen und eingebettete Bereitstellungen.

Fig 1. Ein Beispiel für die Ausführung eines Ultralytics YOLO Modells auf dem STM32N6.

Durch das Ausführen verschiedener YOLO Modellvarianten direkt auf dem STM32N6 konnte STMicroelectronics eine Reihe von Vision AI-Anwendungsfällen wie object detection, Klassifizierung und Tracking demonstrieren, die alle innerhalb der Leistungs- und Speichergrenzen eines Mikrocontrollers liegen. Diese Zusammenarbeit bietet Entwicklern eine zuverlässige Option für die Bereitstellung von KI-gestützten eingebetteten Echtzeitsystemen unter Verwendung skalierbarer, produktionsreifer Vision-Modelle.

Link to this sectionWarum solltest du dich für Ultralytics YOLO Modelle entscheiden?#

Ultralytics YOLO Modelle boten STMicroelectronics die richtige Kombination aus Genauigkeit, Effizienz und Vielseitigkeit, die für KI-fähige eingebettete Systeme erforderlich ist. Die Modelle sind leicht genug, um auf stromsparenden Mikrocontrollern wie dem STM32N6 zu laufen, und dennoch leistungsstark genug, um Echtzeit-Objekterkennung und Instanzsegmentierung zu ermöglichen.

Als beispielsweise das Ultralytics YOLOv8n Modell mit einer Auflösung von 256 x 256 auf dem STM32N6 ausgeführt wurde, erreichte das System 34 Bilder pro Sekunde, wobei jede Inferenz etwa 29 Millisekunden dauerte. Leistungsmessungen zeigten, dass es nur 9,4 Millijoule pro Inferenz verbrauchte, was es gut für Echtzeit-Vision-Aufgaben auf stromsparenden Geräten geeignet macht.

Mit der Unterstützung für mehrere YOLO Modellvarianten haben Entwickler die Flexibilität, das System je nach den Anforderungen ihrer Anwendung auf Geschwindigkeit, Größe oder Genauigkeit abzustimmen. Die einfach zu integrierende Architektur, kombiniert mit starker Community- und Dokumentationsunterstützung, machte Ultralytics YOLO zu einer natürlichen Wahl für das Ziel von STMicroelectronics, die Einführung von Vision AI über eine breite Palette eingebetteter Anwendungsfälle hinweg zu beschleunigen.

Durch eine Ultralytics Enterprise license bietet STMicroelectronics Kunden Zugriff auf die vollständige Suite von YOLO Modellen für interne Tests und Entwicklung. Für jede kommerzielle Bereitstellung müssen Kunden jedoch ihre eigene kommerzielle Lizenz direkt bei Ultralytics über das Lizenzformular anfordern. Dies stellt die Compliance sicher und unterstützt einen skalierbaren Weg zu produktionsreifen Vision AI-Lösungen.

Link to this sectionVon Smart Cities bis zum Gesundheitswesen: Skalierbare Edge AI in der Praxis#

Die Fähigkeit, Ultralytics YOLO Modelle direkt auf dem STM32N6 Mikrocontroller auszuführen, hat eine breite Palette von Vision AI-Anwendungen für STMicroelectronics und sein Entwickler-Ökosystem erschlossen. Durch die Bereitstellung schneller, präziser Inferenz auf dem Gerät, ohne auf externe Verarbeitung oder Cloud-Konnektivität angewiesen zu sein, macht diese Lösung es möglich, intelligente Funktionen in kompakten, stromsparenden Systemen bereitzustellen.

Kunden erkunden Anwendungsfälle in Sektoren wie Echtzeit-Fußgänger- und Fahrzeugerkennung in der Infrastruktur von Smart Cities, On-Device-Sicherheitsprüfungen und Qualitätskontrolle in der industriellen Automatisierung sowie KI-gestützte Diagnostik in tragbaren medizinischen Geräten. Ähnlich ermöglichen YOLO Modelle im Bereich der Unterhaltungselektronik reaktionsschnelle Funktionen wie Anwesenheitserkennung, Gestenerkennung und object tracking – alles innerhalb der Leistungsgrenzen von batteriebetriebenen Geräten.

Link to this sectionDie Vision AI-Lösungen von morgen heute bauen#

Während sich KI weiterentwickelt, konzentriert sich STMicroelectronics darauf, es einfacher zu machen, leistungsstarke, effiziente Lösungen auf Edge-Geräte zu bringen. Durch die enge Zusammenarbeit mit Partnern wie Ultralytics helfen sie Entwicklern, schneller mit gebrauchsfertigen Modellen, Tools und STM32-kompatiblen Ressourcen loszulegen.

Gehe den nächsten Schritt bei der Edge AI-Innovation. Besuche unser GitHub repository, um zu entdecken, wie Ultralytics YOLO Modelle Embedded Vision transformieren. Erkunde Anwendungen von AI in healthcare und computer vision in retail und schau dir noch heute unsere licensing options an!