KI am Netzwerkrand mit Sony IMX500 und AITRIOS ermöglichen

Edge-KI ermöglicht den direkten Betrieb von Modellen künstlicher Intelligenz (KI) auf Geräten wie Smartphones, Kameras und Drohnen. Ihr entscheidender Vorteil ist die schnellere Entscheidungsfindung in Echtzeit, ohne auf die Cloud angewiesen zu sein. Studien zeigen sogar, dass der Einsatz von KI auf Edge-Plattformen die betriebliche Effizienz um bis zu 40 % steigern kann.

Jüngste Fortschritte bei Edge-KI, insbesondere im Bereich Computer Vision, machten das Thema zu einem Schwerpunkt von YOLO Vision 2024 (YV24), der jährlichen Hybridveranstaltung von Ultralytics, bei der sich KI-Begeisterte und Fachleute über die neuesten Entwicklungen in der visuellen KI austauschen. Einer der Höhepunkte der Veranstaltung war Sonys Keynote, in der das Unternehmen seine neuen KI-Hardware- und Softwarelösungen vorstellte. Dabei standen der IMX500-Sensor und die AITRIOS-Plattform im Mittelpunkt. Sony zeigte, wie diese Innovationen die Bereitstellung von Ultralytics-YOLO-Modellen wie Ultralytics YOLO11 und Ultralytics YOLOv8 am Edge einfacher und effizienter machen.

Die Sitzung wurde von Wei Tang, Business Development Manager mit Schwerpunkt auf Sonys Bildgebungslösungen, und Amir Servi, Edge-Deep-Learning-Produktmanager mit Erfahrung bei der Bereitstellung von Deep-Learning-Modellen auf Edge-Geräten, geleitet.

In diesem Artikel greifen wir Sonys Vortrag auf der YV24 erneut auf und untersuchen, wie der IMX500-Sensor und die AITRIOS-Plattform den Einsatz von YOLO-Modellen für schnellere KI-Verarbeitung in Echtzeit am Edge optimieren.

Sonys Vision: KI auf Edge-Geräten demokratisieren#

Wei Tang eröffnete die Sitzung mit einem Vortrag über Sonys Ziel, Edge-KI ebenso zugänglich zu machen wie einst die Fotografie. Sie betonte, dass Sony sich nun darauf konzentriert, fortschrittliche visuelle KI durch Edge-Computing mehr Menschen zugänglich zu machen. Ein wichtiger Beweggrund dafür sind die positiven Auswirkungen, die Edge-KI auf die Umwelt haben kann. Werden Daten direkt auf Geräten statt in riesigen Rechenzentren verarbeitet, senkt Edge-Computing den Energieverbrauch und die Kohlenstoffemissionen. Dieser intelligentere und umweltfreundlichere Ansatz passt zu Sonys Engagement für Technologien, die nicht nur besser funktionieren, sondern auch zu einer nachhaltigeren Zukunft beitragen.

Wei erklärte weiter, wie Sony Semiconductor Solutions, der auf Bildgebungs- und Sensortechnologien spezialisierte Unternehmensbereich von Sony, fortschrittliche Bildsensoren entwickelt. Diese Sensoren kommen in zahlreichen Geräten zum Einsatz und wandeln Licht in elektronische Signale um, um Bilder aufzunehmen. Jährlich werden mehr als 1,2 Milliarden Sensoren ausgeliefert. Sie sind in fast der Hälfte aller Mobiltelefone weltweit verbaut und machen Sony zu einem wichtigen Akteur in der Bildgebungsbranche.

Abb. 1. Beispiele für Bildsensoren von Sony.

Aufbauend auf diesem Fachwissen geht Sony nun noch einen Schritt weiter: Das Unternehmen verwandelt Bildsensoren von Aufnahmegeräten in intelligente Werkzeuge, die Daten in Echtzeit verarbeiten und so direkt auf Geräten KI-gestützte Erkenntnisse ermöglichen. Bevor wir die Hardware- und Softwarelösungen besprechen, mit denen Sony diesen Wandel vorantreibt, wollen wir die Herausforderungen von Edge-KI betrachten, denen diese Innovationen begegnen sollen.

Herausforderungen bei der KI-Bildverarbeitung auf Edge-Geräten#

Die Entwicklung von Edge-KI-Lösungen bringt einige zentrale Herausforderungen mit sich, insbesondere bei Geräten wie Kameras und Sensoren. Viele dieser Geräte haben nur begrenzte Leistung und Rechenkapazität. Dadurch ist es schwierig, fortschrittliche KI-Modelle effizient auszuführen.

Hier sind einige weitere wichtige Einschränkungen:

• Komplexität der Software: KI-Modelle für verschiedene Edge-Geräte mit unterschiedlichen Hardwarekonfigurationen anzupassen, kann komplex sein und Anpassungen sowie Optimierungen erfordern.
• Engpässe bei der Nachverarbeitung: Wenn große Datenmengen vom Gerät zur Nachverarbeitung an den Host übertragen werden, kommt es häufig zu Verzögerungen. Die Übertragung dauert oft länger als die eigentliche Modellinferenz der KI.
• Datenexplosion: Da zahlreiche IoT-Geräte ständig Daten erzeugen, kann die Menge der lokal zu verarbeitenden Daten überwältigend sein und Edge-Geräte zusätzlich belasten.

Der intelligente Bildsensor Sony IMX500 im Überblick#

Der intelligente Bildsensor Sony IMX500 ist eine wichtige Hardwarekomponente für die Edge-KI-Verarbeitung. Sony bezeichnet ihn als weltweit ersten intelligenten Bildsensor mit integrierten KI-Funktionen. Dieser Sensor hilft, viele Herausforderungen der Edge-KI zu bewältigen, darunter Engpässe bei der Datenverarbeitung, Datenschutzbedenken und Leistungseinschränkungen.

Während andere Sensoren lediglich Bilder und Einzelbilder weiterleiten, erzählt der IMX500 eine ganze Geschichte. Er verarbeitet Daten direkt auf dem Sensor, sodass Geräte in Echtzeit Erkenntnisse gewinnen können. Während der Sitzung sagte Wei Tang: „Mit unserer fortschrittlichen Bildsensortechnologie wollen wir eine neue Generation von Anwendungen ermöglichen, die den Alltag verbessern.“ Der IMX500 wurde für dieses Ziel entwickelt und verändert die Art und Weise, wie Geräte Daten direkt auf dem Sensor verarbeiten – ohne sie zur Verarbeitung in die Cloud senden zu müssen.

Hier sind einige der wichtigsten Funktionen:

• Metadatenausgabe: Statt vollständige Bilder zu senden, gibt der Sensor Metadaten aus. Dadurch wird die Datenmenge erheblich reduziert, was Bandbreitenbedarf und Kosten senkt.
• Mehr Datenschutz: Durch die Verarbeitung von Daten auf dem Gerät verbessert der IMX500 den Datenschutz, insbesondere wenn es um sensible Informationen geht, etwa bei Computer-Vision-Aufgaben mit Bezug zu Menschen wie dem Zählen von Personen.
• Echtzeitverarbeitung: Dank seiner Fähigkeit, Daten schnell zu verarbeiten, ermöglicht der Sensor schnelle Entscheidungen in Echtzeit und damit Edge-KI-Anwendungen wie autonome Systeme.

Der IMX500 ist nicht einfach nur ein Kamerasensor, sondern ein leistungsstarkes Sensorwerkzeug, das verändert, wie Geräte ihre Umgebung wahrnehmen und mit ihr interagieren. Durch die direkte Integration von KI in den Sensor macht Sony Edge-KI für Branchen wie die Automobilindustrie, das Gesundheitswesen und intelligente Städte zugänglicher. In den folgenden Abschnitten gehen wir näher darauf ein, wie der IMX500 zusammen mit Ultralytics-YOLO-Modellen die Objekterkennung und Datenverarbeitung auf Edge-Geräten verbessert.

Abb. 2. Wei Tang stellt bei YOLO Vision 2024 auf der Bühne den intelligenten Bildsensor Sony IMX500 vor.

Sonys AITRIOS-Plattform: Edge-KI einfacher machen#

Nachdem Wei Tang den IMX500-Sensor vorgestellt hatte, erklärte sie, dass Hardware zwar entscheidend sei, allein aber nicht ausreiche, um alle Herausforderungen der KI-Bereitstellung am Edge zu bewältigen. Die Integration von KI in Geräte wie Kameras und Sensoren erfordere mehr als fortschrittliche Hardware – nämlich intelligente Software zu ihrer Verwaltung. Hier kommt Sonys AITRIOS-Plattform ins Spiel: Sie bietet eine zuverlässige Softwarelösung, die die Bereitstellung von KI auf Edge-Geräten einfacher und effizienter macht.

AITRIOS schlägt eine Brücke zwischen komplexen KI-Modellen und den Einschränkungen von Edge-Geräten. Die Plattform bietet Entwicklern verschiedene Werkzeuge, um vortrainierte KI-Modelle schnell bereitzustellen. Noch wichtiger ist, dass sie kontinuierliches Nachtrainieren unterstützt, damit KI-Modelle sich an Veränderungen in der realen Welt anpassen können.

Wei hob außerdem hervor, dass AITRIOS den Prozess für Menschen ohne fundierte KI-Kenntnisse vereinfacht und es ermöglicht, KI-Modelle flexibel an bestimmte Edge-KI-Anwendungsfälle anzupassen. Die Plattform bewältigt auch häufige Herausforderungen wie Speicherbeschränkungen und Leistungseinbußen. Dadurch lässt sich KI leichter in kleinere Geräte integrieren, ohne Abstriche bei Genauigkeit oder Geschwindigkeit zu machen.

Abb. 3. Beispiele für Edge-KI-Anwendungsfälle. Bildquelle: SONY Semicon | AITRIOS.

YOLO-Modelle auf dem IMX500 optimieren#

Im zweiten Teil des Vortrags übergab man das Mikrofon an Amir, der sich mit den technischen Einzelheiten befasste, wie Sony YOLO-Modelle auf dem IMX500-Sensor optimiert hat.

Amir begann mit den Worten: „YOLO-Modelle eignen sich für Edge-Anwendungen und lassen sich dank Glenn und dem Team recht einfach optimieren. Ich werde dich davon überzeugen, keine Sorge.“ Anschließend erklärte Amir, dass bei der Optimierung zwar häufig das KI-Modell selbst im Mittelpunkt steht, dabei aber ein entscheidendes Problem übersehen wird: Engpässe bei der Nachverarbeitung.

Amir wies darauf hin, dass in vielen Fällen nach Abschluss der Aufgabe durch das KI-Modell die Datenübertragung und Nachverarbeitung auf einem Host-Gerät erhebliche Verzögerungen verursachen können. Dieser wiederholte Datenaustausch zwischen Gerät und Host führt zu Latenz und kann ein großes Hindernis für die bestmögliche Leistung sein.

Abb. 4. Amir Servi auf der Bühne bei der YOLO Vision 2024, wo er Engpässe bei der Nachverarbeitung erläutert.

Um dieses Problem anzugehen, betonte Amir, wie wichtig es ist, das gesamte System vom Anfang bis zum Ende zu betrachten, statt sich nur auf das KI-Modell zu konzentrieren. Mit dem IMX500-Sensor stellten sie fest, dass die Nachverarbeitung der Hauptengpass war, der alles verlangsamte. Er erklärte, der entscheidende Durchbruch sei die Aktivierung von Non-Maximum-Unterdrückung (NMS) direkt auf dem Chip gewesen.

Dadurch konnte die Nachverarbeitung direkt auf dem Sensor stattfinden, sodass keine großen Datenmengen mehr an ein Host-Gerät übertragen werden mussten. Indem Sony NMS direkt auf dem IMX500 ausführte, überwand das Unternehmen die von Amir so bezeichnete „gläserne Decke der Nachverarbeitung“ und erzielte eine deutlich bessere Leistung sowie geringere Latenz.

Abb. 5. Den Engpass bei der Nachverarbeitung überwinden. Bildquelle: SONY Semicon | AITRIOS

Als Nächstes sehen wir uns an, wie diese Innovation YOLO-Modelle – insbesondere Ultralytics YOLOv8 Nano – dabei hilft, effizienter auf Edge-Geräten zu laufen und neue Möglichkeiten für die KI-Verarbeitung in Echtzeit auf kleinerer Hardware mit begrenzten Ressourcen schafft.

Ultralytics-YOLOv8-Modelle laufen dank Sonys IMX500 viermal schneller#

Zum Abschluss seines Vortrags demonstrierte Amir eindrucksvoll, wie sich die Leistung des Ultralytics-YOLOv8-Nano-Modells vervierfachen ließ, indem NMS am Edge ausgeführt wurde. Er führte dies auf einem Raspberry Pi 5 vor, der mit dem KI-Sensor IMX500 verbunden war. Amir verglich die Leistung, wenn die Nachverarbeitung auf einem Host-Gerät beziehungsweise auf dem IMX500-Chip erfolgte.

Die Ergebnisse zeigten deutlich eine erhebliche Verbesserung der Bilder pro Sekunde (FPS) und der Gesamteffizienz, wenn die Verarbeitung auf dem Chip stattfand. Durch die Optimierung wurde die Objekterkennung schneller und flüssiger. Außerdem zeigte sie, wie praktikabel die KI-Verarbeitung in Echtzeit auf kleineren Geräten mit begrenzten Ressourcen wie dem Raspberry Pi ist.

Die wichtigsten Erkenntnisse#

Der IMX500-Sensor von Sony, die AITRIOS-Plattform und die Ultralytics-YOLO-Modelle verändern gemeinsam durch die Partnerschaft zwischen Ultralytics und Sony die Entwicklung von Edge-KI. Die KI-Verarbeitung auf dem Chip verringert Datenübertragung und Latenz und verbessert zugleich Datenschutz, Sicherheit und Effizienz. Indem diese Innovationen das gesamte System statt nur das KI-Modell in den Blick nehmen, machen sie Edge-KI für Entwickler und Menschen ohne fundierte KI-Kenntnisse zugänglicher. Mit der Weiterentwicklung der Edge-KI-Technologie werden wahrscheinlich intelligentere Geräte, schnellere Entscheidungen und ein besserer Datenschutz in zahlreichen Branchen und Anwendungen möglich.

Bleib mit unserer Community in Kontakt und lerne weiter über KI! Sieh dir unser GitHub-Repository an und entdecke, wie wir mit KI innovative Lösungen in verschiedenen Branchen wie der Landwirtschaft und der Fertigung entwickeln können.