Eingebettete Vision AI mit Ultralytics YOLO und STMicroelectronics MCU

Erkundung von Vision AI für stromsparende Geräte am Netzwerkrand

STMicroelectronics ist ein weltweit führendes Unternehmen der Halbleitertechnologie mit über 50.000 Mitarbeitern und mehr als 200.000 Kunden weltweit. STMicroelectronics entwickelt und fertigt Chips, die Anwendungen von Elektrofahrzeugen und Industrieanlagen bis hin zu intelligenten Haushaltsgeräten und Unterhaltungselektronik ermöglichen.

Da immer mehr Branchen auf KI setzen, um Geräte intelligenter und reaktionsschneller zu machen, hat sich STMicroelectronics darauf konzentriert, diese Fähigkeiten direkt an den Rand zu bringen. Der STM32N6-Mikrocontroller, ein leistungsfähiger, energieeffizienter Chip, kann beispielsweise KI-Aufgaben wie Computer Vision auf dem Gerät übernehmen.

Um Entwickler bei der Entwicklung von Embedded-Vision-Anwendungen auf dem STM32N6 zu unterstützen, suchte STMicroelectronics nach flexiblen, leistungsstarken Modellen, die effizient auf einem Mikrocontroller laufen können. Die YOLO-Modelle von Ultralytics erwiesen sich als hervorragend geeignet und boten eine zuverlässige Kombination aus Geschwindigkeit, Genauigkeit und einfacher Integration.

Die Zwänge bei der Entwicklung KI-gestützter eingebetteter Systeme

Bevor sich das Konzept der Edge-KI durchsetzte, wurden Bildverarbeitungsmodelle in der Regel auf großen, zentralisierten Systemen wie Cloud-Servern oder GPUs (Graphics Processing Units) entwickelt. Diese Plattformen boten die für das Trainieren und Bereitstellen großer Modelle erforderlichen Rechenkapazitäten, führten aber auch zu Einschränkungen wie hohem Energieverbrauch, Netzwerkabhängigkeit, Latenzzeiten und erhöhten Betriebskosten.

Als das Interesse an der Implementierung intelligenter Echtzeitanwendungen in Branchen wie dem Gesundheitswesen, der Unterhaltungselektronik und intelligenten Städten wuchs, wurde klar, dass es sowohl eine technische Notwendigkeit als auch eine strategische Chance ist, die KI-Verarbeitung näher an den Ort zu verlagern, an dem die Daten generiert werden, nämlich auf das Gerät selbst.

Die Ausführung von KI-Modellen auf Mikrocontrollern mit geringem Stromverbrauch kann jedoch eine Herausforderung darstellen. Diese Geräte verfügen in der Regel über einen begrenzten Speicher, eine begrenzte Rechenleistung und eine begrenzte Energiekapazität, so dass es schwierig ist, komplexe Bildverarbeitungsmodelle ohne Einbußen bei der Leistung oder Genauigkeit einzusetzen. 

STMicroelectronics musste eine Reihe von Modellen finden, die vielseitig genug sind, um zuverlässige Echtzeit-Computer-Vision-Fähigkeiten für den STM32N6-Mikrocontroller bereitzustellen, ohne dass die Entwickler ihre Modelle oder Arbeitsabläufe drastisch vereinfachen müssen. Ihr Ziel war es, aussagekräftige On-Device-KI zu liefern und dabei die strengen Einschränkungen von Embedded-Systemen einzuhalten.

Rationalisierte YOLO-Modellbereitstellung auf Mikrocontrollern

Um fortschrittliche KI auf stromsparenden Embedded-Geräten zu ermöglichen, hat STMicroelectronics den STM32N6 eingeführt, einen Hochleistungs-Mikrocontroller, der mit dem Neural-ART Accelerator™ ausgestattet ist. Dabei handelt es sich um eine hauseigene Neural Processing Unit (NPU), die speziell für Edge-KI-Workloads entwickelt wurde. Diese Technologie ermöglicht es Entwicklern, KI-Inferenzen direkt auf dem Gerät auszuführen, wodurch die Abhängigkeit von Cloud-Computing verringert und gleichzeitig Geschwindigkeit, Reaktionsfähigkeit und Energieeffizienz verbessert werden.

STMicroelectronics hat sich mit Ultralytics zusammengetan, um die Fähigkeiten des STM32N6 zu bewerten und zu präsentieren, indem Ultralytics YOLO-Modelle auf dem Mikrocontroller ausgeführt werden. Ultralytics YOLO-Modelle sind für ihre Ausgewogenheit von Geschwindigkeit und Genauigkeit bekannt und eignen sich gut für ressourcenbeschränkte Umgebungen und eingebettete Anwendungen.

‍

Durch die Ausführung verschiedener YOLO-Modellvarianten direkt auf dem STM32N6 konnte STMicroelectronics eine Reihe von Vision-KI-Anwendungsfällen wie Objekterkennung, -klassifizierung und -verfolgung demonstrieren, und zwar innerhalb der Leistungs- und Speichergrenzen eines Mikrocontrollers. Diese Zusammenarbeit bietet Entwicklern eine zuverlässige Option für den Einsatz von KI-gestützten Embedded-Systemen in Echtzeit unter Verwendung skalierbarer, produktionsreifer Vision-Modelle.

Warum die YOLO-Modelle von Ultralytics?

Die YOLO-Modelle von Ultralytics bieten STMicroelectronics die richtige Kombination aus Genauigkeit, Effizienz und Vielseitigkeit, die für KI-fähige eingebettete Systeme benötigt wird. Die Modelle sind leicht genug, um auf stromsparenden Mikrocontrollern wie dem STM32N6 zu laufen, und dennoch leistungsstark genug, um Objekterkennung und Instanzsegmentierung in Echtzeit zu ermöglichen.

Bei der Ausführung des Ultralytics YOLOv8n-Modells mit einer Auflösung von 256 x 256 auf dem STM32N6 erreichte das System beispielsweise 34 Bilder pro Sekunde, wobei jede Inferenz etwa 29 Millisekunden dauerte. Stromverbrauchsmessungen ergaben, dass es nur 9,4 Millijoule pro Schlussfolgerung verbrauchte, wodurch es sich gut für Echtzeit-Vision-Aufgaben auf Geräten mit geringem Stromverbrauch eignet.

Durch die Unterstützung mehrerer YOLO-Modellvarianten haben Entwickler die Möglichkeit, je nach den Einschränkungen ihrer Anwendung eine Feinabstimmung in Bezug auf Geschwindigkeit, Größe oder Genauigkeit vorzunehmen. Die einfach zu integrierende Architektur in Verbindung mit der starken Unterstützung durch die Community und die Dokumentation machen Ultralytics YOLO zu einer natürlichen Ergänzung für das Ziel von STMicroelectronics, die Einführung von Vision AI in einer Vielzahl von Embedded-Anwendungen zu beschleunigen.

Mit einer Ultralytics Enterprise-Lizenz bietet STMicroelectronics seinen Kunden Zugriff auf die gesamte Palette der YOLO-Modelle für interne Tests und Entwicklung. Für einen kommerziellen Einsatz müssen Kunden jedoch ihre eigene kommerzielle Lizenz direkt bei Ultralytics über das Lizenzformular anfordern. Dies gewährleistet die Einhaltung der Vorschriften und unterstützt einen skalierbaren Weg zu produktionsreifen Vision AI-Lösungen.

Von intelligenten Städten bis zum Gesundheitswesen: Skalierbare Edge-KI in Aktion

Die Möglichkeit, Ultralytics YOLO-Modelle direkt auf dem STM32N6-Mikrocontroller auszuführen, hat STMicroelectronics und seinem Entwickler-Ökosystem eine breite Palette von Vision AI-Anwendungen eröffnet. Durch die Bereitstellung schneller, präziser Inferenzen auf dem Gerät, ohne auf externe Verarbeitung oder Cloud-Konnektivität angewiesen zu sein, ermöglicht diese Lösung den Einsatz intelligenter Funktionen in kompakten Systemen mit geringem Stromverbrauch.

Kunden untersuchen Anwendungsfälle in verschiedenen Sektoren, wie z. B. die Echtzeit-Erkennung von Fußgängern und Fahrzeugen in der Smart-City-Infrastruktur, geräteinterne Sicherheitsprüfungen und Qualitätskontrollen in der Industrieautomatisierung sowie KI-gestützte Diagnosen in tragbaren medizinischen Geräten. Auch im Bereich der Unterhaltungselektronik ermöglichen YOLO-Modelle reaktionsschnelle Funktionen wie Anwesenheitserkennung, Gestenerkennung und Objektverfolgung - und das alles innerhalb der Leistungsbeschränkungen batteriebetriebener Geräte.

‍

Heute schon die Vision AI-Lösungen von morgen entwickeln

STMicroelectronics konzentriert sich darauf, leistungsstarke und effiziente Lösungen für Edge-Geräte zu entwickeln. Durch die enge Zusammenarbeit mit Partnern wie Ultralytics hilft STMicroelectronics Entwicklern, mit gebrauchsfertigen Modellen, Tools und STM32-kompatiblen Ressourcen schneller zu starten. 

Machen Sie den nächsten Schritt in der Edge AI-Innovation. Besuchen Sie unser GitHub-Repository und entdecken Sie, wie Ultralytics YOLO-Modelle das eingebettete Sehen verändern. Erforschen Sie Anwendungen von KI im Gesundheitswesen und Computer Vision im Einzelhandel, und informieren Sie sich noch heute über unsere Lizenzierungsoptionen!