Embedded Vision AI mit Ultralytics YOLO & STMicroelectronics MCU

Da die Akzeptanz von KI in allen Branchen zunimmt, wächst auch die Nachfrage nach leistungsstarken, stromsparenden Lösungen, die in der Lage sind, Echtzeit-Inferenz am Edge auszuführen, rasant. Um diesem technologischen Bedarf zu entsprechen, hat STMicroelectronics den STM32N6-Mikrocontroller mit einer integrierten Neural Processing Unit (NPU) für eingebettete KI-Workloads vorgestellt. 

Durch die Ausführung von Ultralytics YOLO-Modellen auf dem STM32N6 hat STMicroelectronics gezeigt, dass eine genaue und effiziente eingebettete Vision AI auf Mikrocontrollern möglich ist, was neue Möglichkeiten für skalierbare On-Device-Intelligenz in Sektoren wie Smart Cities, Gesundheitswesen und Unterhaltungselektronik eröffnet.

Erforschung von Vision AI für Low-Power-Geräte am Edge

STMicroelectronics ist ein weltweit führendes Unternehmen im Bereich der Halbleitertechnologie mit über 50.000 Mitarbeitern und mehr als 200.000 Kunden weltweit. Sie entwerfen und bauen Chips, die Anwendungen von Elektrofahrzeugen und Industrieanlagen bis hin zu Smart-Home-Geräten und Unterhaltungselektronik ermöglichen.

Da immer mehr Branchen auf KI setzen, um Geräte intelligenter und reaktionsfähiger zu machen, konzentriert sich STMicroelectronics darauf, diese Fähigkeiten direkt an den Edge zu bringen. Beispielsweise kann ihr STM32N6-Mikrocontroller, ein leistungsstarker, energieeffizienter Chip, On-Device-KI-Aufgaben wie Computer Vision übernehmen.

Um Entwicklern beim Erstellen von Embedded-Vision-Anwendungen auf STM32N6 zu helfen, suchte STMicroelectronics nach flexiblen, hochleistungsfähigen Modellen, die effizient auf einem Mikrocontroller laufen können. Ultralytics YOLO-Modelle erwiesen sich als eine gute Lösung und boten eine zuverlässige Kombination aus Geschwindigkeit, Genauigkeit und einfacher Integration.

Die Einschränkungen bei der Aktivierung von KI-gestützten eingebetteten Systemen

Bevor das Konzept von Edge AI allgemein akzeptiert wurde, wurden Computer-Vision-Modelle typischerweise für die Ausführung auf großen, zentralisierten Systemen wie Cloud-Servern oder GPUs (Graphics Processing Units) entwickelt. Diese Plattformen boten die Rechenleistung, die zum Trainieren und Bereitstellen großer Modelle erforderlich ist, führten aber auch zu Einschränkungen wie hohem Energieverbrauch, Netzwerkabhängigkeit, Latenz und erhöhten Betriebskosten.

Als das Interesse an der Implementierung intelligenterer Echtzeitanwendungen in Branchen wie dem Gesundheitswesen, der Unterhaltungselektronik und Smart Cities wuchs, wurde deutlich, dass die Verlagerung der KI-Verarbeitung näher an den Ort, an dem Daten generiert werden, auf dem Gerät selbst, sowohl eine technische Notwendigkeit als auch eine strategische Chance war.

Allerdings kann die Ausführung von KI-Modellen auf leistungsschwachen Mikrocontrollern eine Herausforderung darstellen. Diese Geräte verfügen in der Regel über begrenzten Speicher, Rechenleistung und Energiekapazität, was es schwierig macht, komplexe Vision-Modelle einzusetzen, ohne die Leistung oder Genauigkeit zu beeinträchtigen. 

STMicroelectronics musste eine Reihe von Modellen identifizieren, die vielseitig genug sind, um zuverlässige Echtzeit-Computer-Vision-Funktionen auf ihren STM32N6-Mikrocontroller zu bringen, ohne dass Entwickler ihre Modelle oder Arbeitsabläufe drastisch vereinfachen müssen. Ihr Ziel war es, sinnvolle On-Device-KI bereitzustellen und gleichzeitig die strengen Beschränkungen eingebetteter Systeme einzuhalten.

Optimierte YOLO-Modellbereitstellung auf Mikrocontrollern

Um fortschrittliche KI auf stromsparenden eingebetteten Geräten zu ermöglichen, hat STMicroelectronics den STM32N6 eingeführt, einen Hochleistungs-Mikrocontroller, der mit dem Neural-ART Accelerator™ ausgestattet ist. Es handelt sich um eine hauseigene Neural Processing Unit (NPU), die speziell für Edge-KI-Workloads entwickelt wurde. Diese Technologie ermöglicht es Entwicklern, KI-Inferenz direkt auf dem Gerät auszuführen, wodurch die Abhängigkeit von Cloud Computing verringert und gleichzeitig die Geschwindigkeit, Reaktionsfähigkeit und Energieeffizienz verbessert werden.

STMicroelectronics hat sich mit Ultralytics zusammengetan, um die Fähigkeiten von STM32N6 zu evaluieren und zu demonstrieren, indem Ultralytics YOLO-Modelle auf dem Mikrocontroller ausgeführt werden. Ultralytics YOLO-Modelle sind für ihr ausgewogenes Verhältnis von Geschwindigkeit und Genauigkeit bekannt und eignen sich gut für ressourcenbeschränkte Umgebungen und eingebettete Anwendungen.

‍

Durch die Ausführung verschiedener YOLO-Modellvarianten direkt auf dem STM32N6 konnte STMicroelectronics eine Reihe von Vision-KI-Anwendungsfällen demonstrieren, wie z. B. Objekterkennung, Klassifizierung und Verfolgung, und das alles innerhalb der Leistungs- und Speicherbeschränkungen eines Mikrocontrollers. Diese Zusammenarbeit bietet Entwicklern eine zuverlässige Option für die Bereitstellung von KI-gestützten Echtzeit-Embedded-Systemen unter Verwendung von skalierbaren, produktionsreifen Vision-Modellen.

Warum Ultralytics YOLO-Modelle wählen?

Ultralytics YOLO-Modelle boten STMicroelectronics die richtige Kombination aus Genauigkeit, Effizienz und Vielseitigkeit, die für KI-gestützte eingebettete Systeme erforderlich ist. Die Modelle sind leicht genug, um auf Low-Power-Mikrocontrollern wie dem STM32N6 zu laufen, aber dennoch leistungsstark genug, um Objekterkennung und Instanzsegmentierung in Echtzeit zu ermöglichen.

Wenn beispielsweise das Ultralytics YOLOv8n-Modell mit einer Auflösung von 256 x 256 auf dem STM32N6 ausgeführt wird, erreichte das System 34 Bilder pro Sekunde, wobei jede Inferenz etwa 29 Millisekunden dauerte. Leistungsmessungen zeigten, dass es nur 9,4 Millijoule pro Inferenz verbrauchte, wodurch es sich gut für Echtzeit-Vision-Aufgaben auf Low-Power-Geräten eignet.

Mit der Unterstützung für mehrere YOLO-Modellvarianten haben Entwickler die Flexibilität, die Feinabstimmung auf Geschwindigkeit, Größe oder Genauigkeit vorzunehmen, je nach den Einschränkungen ihrer Anwendung. Die einfach zu integrierende Architektur, kombiniert mit starkem Community- und Dokumentationssupport, machte Ultralytics YOLO zu einer natürlichen Wahl für das Ziel von STMicroelectronics, die Einführung von Vision AI in einer Vielzahl von eingebetteten Anwendungsfällen zu beschleunigen.

Über eine Ultralytics Enterprise Lizenz bietet STMicroelectronics Kunden Zugriff auf die vollständige Suite von YOLO-Modellen für interne Tests und Entwicklung. Für jede kommerzielle Bereitstellung müssen Kunden jedoch ihre eigene kommerzielle Lizenz direkt von Ultralytics über das Lizenzformular anfordern. Dies gewährleistet die Einhaltung der Vorschriften und unterstützt einen skalierbaren Weg zu produktionsreifen Vision AI-Lösungen.

Von Smart Cities bis zum Gesundheitswesen: Skalierbare Edge-KI in Aktion

Die Fähigkeit, Ultralytics YOLO-Modelle direkt auf dem STM32N6-Mikrocontroller auszuführen, hat eine breite Palette von Vision-KI-Anwendungen für STMicroelectronics und sein Entwickler-Ökosystem erschlossen. Durch die Bereitstellung einer schnellen, genauen Inferenz auf dem Gerät, ohne auf externe Verarbeitung oder Cloud-Konnektivität angewiesen zu sein, ermöglicht diese Lösung die Bereitstellung intelligenter Funktionen in kompakten, stromsparenden Systemen.

Kunden erforschen Anwendungsfälle in verschiedenen Sektoren, wie z. B. die Echtzeit-Fußgänger- und Fahrzeugerkennung in der Smart-City-Infrastruktur, On-Device-Sicherheitsprüfungen und Qualitätskontrolle in der industriellen Automatisierung sowie KI-gestützte Diagnostik in tragbaren Gesundheitsgeräten. In ähnlicher Weise ermöglichen YOLO-Modelle im Bereich der Unterhaltungselektronik reaktionsschnelle Funktionen wie Anwesenheitserkennung, Gestenerkennung und Objektverfolgung - und das alles innerhalb der Leistungsbeschränkungen batteriebetriebener Geräte.

‍

Wir bauen schon heute an den Vision-KI-Lösungen von morgen

Da sich KI ständig weiterentwickelt, konzentriert sich STMicroelectronics darauf, es einfacher zu machen, leistungsstarke, effiziente Lösungen auf Edge-Geräte zu bringen. Durch die enge Zusammenarbeit mit Partnern wie Ultralytics helfen sie Entwicklern, schneller mit gebrauchsfertigen Modellen, Tools und STM32-kompatiblen Ressourcen zu beginnen. 

Gehen Sie den nächsten Schritt in der Edge-KI-Innovation. Besuchen Sie unser GitHub-Repository, um zu entdecken, wie Ultralytics YOLO-Modelle die eingebettete Bildverarbeitung transformieren. Entdecken Sie Anwendungen von KI im Gesundheitswesen und Computer Vision im Einzelhandel, und sehen Sie sich noch heute unsere Lizenzierungsoptionen an!