Edge AI mit Sony IMX500 und AITRIOS voranbringen

Edge AI ermöglicht es Modellen der künstlichen Intelligenz (AI), direkt auf Geräten wie Smartphones, Kameras und Drohnen zu arbeiten. Der entscheidende Vorteil besteht darin, dass dadurch schnellere Entscheidungen in Echtzeit möglich sind, ohne auf die Cloud angewiesen zu sein. Tatsächlich zeigen Studien, dass der Einsatz von AI auf Edge-Plattformen die betriebliche Effizienz um bis zu 40 % steigern kann.

Die jüngsten Fortschritte im Bereich Edge AI, insbesondere bei der Computer Vision, machten das Thema zu einem Schwerpunkt der YOLO Vision 2024 (YV24), der jährlichen hybriden Veranstaltung von Ultralytics, bei der AI-Begeisterte und Fachleute zusammenkommen, um die neuesten Entwicklungen im Bereich Vision AI zu erkunden. Zu den Höhepunkten der Veranstaltung gehörte Sonys Keynote-Präsentation, in der das Unternehmen seine hochmodernen AI-Hardware- und Softwarelösungen vorstellte. Der IMX500-Sensor und die AITRIOS-Plattform wurden präsentiert, und Sony zeigte, wie diese Innovationen die Bereitstellung von Ultralytics-YOLO-Modellen wie Ultralytics YOLO11 und Ultralytics YOLOv8 auf Edge-Geräten einfacher und effizienter machen.

Die Sitzung wurde von Wei Tang, einer Business Development Managerin mit Schwerpunkt auf Sonys Bildgebungslösungen, und Amir Servi, einem Edge-Deep-Learning-Produktmanager mit Erfahrung in der Bereitstellung von Deep-Learning-Modellen auf Edge-Geräten, geleitet.

In diesem Artikel blicken wir auf Sonys Vortrag bei YV24 zurück und untersuchen, wie der IMX500-Sensor und die AITRIOS-Plattform den Einsatz von YOLO-Modellen für eine schnellere AI-Verarbeitung in Echtzeit direkt am Edge optimieren. Legen wir los!

Sonys Vision: AI auf Edge-Geräten demokratisieren#

Wei Tang eröffnete die Sitzung, indem sie über Sonys Ziel sprach, Edge AI ebenso zugänglich zu machen, wie es dem Unternehmen vor Jahren mit der Fotografie gelungen war. Sie betonte, dass Sony sich nun darauf konzentriert, fortschrittliche Vision AI durch Edge Computing mehr Menschen zugänglich zu machen. Einer der treibenden Faktoren ist der positive Einfluss, den Edge AI auf die Umwelt haben kann. Durch die direkte Verarbeitung von Daten auf Geräten statt in großen Rechenzentren trägt Edge Computing dazu bei, den Energieverbrauch und die Kohlenstoffemissionen zu senken. Das ist ein intelligenterer, umweltfreundlicherer Ansatz, der perfekt zu Sonys Engagement für Technologien passt, die nicht nur besser funktionieren, sondern auch zu einer nachhaltigeren Zukunft beitragen.

Wei erklärte weiter, wie Sony Semiconductor Solutions, die auf Bildgebungs- und Sensortechnologien spezialisierte Sparte von Sony, fortschrittliche Bildsensoren entwickelt. Diese Sensoren werden in einer Vielzahl von Geräten eingesetzt und wandeln Licht in elektronische Signale um, um Bilder aufzunehmen. Mit mehr als 1,2 Milliarden ausgelieferten Sensoren pro Jahr finden sie sich in nahezu der Hälfte aller Mobiltelefone weltweit und machen Sony zu einem wichtigen Akteur in der Bildgebungs branche.

Abb. 1 Beispiele für Bildsensoren von Sony.

Auf Grundlage dieser Expertise geht Sony nun noch einen Schritt weiter und verwandelt diese Sensoren von bildaufnehmenden Geräten in intelligente Werkzeuge, die Daten in Echtzeit verarbeiten können und so AI-gestützte Erkenntnisse direkt auf Geräten ermöglichen. Bevor wir die Hardware- und Softwarelösungen besprechen, mit denen Sony diesen Wandel unterstützt, sehen wir uns zunächst die Herausforderungen von Edge AI an, die diese Innovationen lösen sollen.

Herausforderungen bei der AI-Bildverarbeitung auf Edge-Geräten#

Die Entwicklung von Lösungen für Edge AI bringt einige zentrale Herausforderungen mit sich, insbesondere bei Geräten wie Kameras und Sensoren. Viele dieser Geräte verfügen nur über begrenzte Energie- und Rechenkapazitäten, wodurch es schwierig wird, fortschrittliche AI-Modelle auszuführen.

Hier sind einige der weiteren wesentlichen Einschränkungen:

• Softwarekomplexität: Die Anpassung von AI-Modellen für den Einsatz auf verschiedenen Edge-Geräten mit unterschiedlichen Hardwarekonfigurationen kann komplex sein und Anpassungen sowie Optimierungen erfordern.
• Engpässe bei der Nachbearbeitung: Bei der Übertragung großer Datenmengen vom Gerät zum Host für die Nachbearbeitung kommt es häufig zu Verzögerungen. Das nimmt oft mehr Zeit in Anspruch als die eigentliche Modellinferenz des AI-Modells.
• Datenexplosion: Da viele IoT-Geräte ständig Daten erzeugen, kann die lokal zu verarbeitende Datenmenge überwältigend sein und die Edge-Geräte zusätzlich belasten.

Der intelligente Bildsensor Sony IMX500 im Überblick#

Der intelligente Bildsensor Sony IMX500 ist ein wegweisendes Hardwareelement für die Verarbeitung von Edge AI. Er ist der weltweit erste intelligente Bildsensor mit AI-Funktionen auf dem Chip. Dieser Sensor hilft, viele Herausforderungen von Edge AI zu bewältigen, darunter Engpässe bei der Datenverarbeitung, Datenschutzbedenken und Leistungseinschränkungen.

Während andere Sensoren lediglich Bilder und Einzelbilder weiterleiten, erzählt der IMX500 eine ganze Geschichte. Er verarbeitet Daten direkt auf dem Sensor, sodass Geräte in Echtzeit Erkenntnisse gewinnen können. Während der Sitzung sagte Wei Tang: „Durch den Einsatz unserer fortschrittlichen Bildsensortechnologie wollen wir eine neue Generation von Anwendungen ermöglichen, die das Alltagsleben verbessern können.“ Der IMX500 wurde für dieses Ziel entwickelt und verändert die Art und Weise, wie Geräte Daten direkt auf dem Sensor verarbeiten, ohne sie zur Verarbeitung an die Cloud senden zu müssen.

Hier sind einige der wichtigsten Funktionen:

• Metadatenausgabe: Statt vollständige Bilder zu senden, gibt der Sensor Metadaten aus. Dadurch wird die Datenmenge erheblich reduziert, was den Bandbreitenbedarf und die Kosten senkt.
• Verbesserter Datenschutz: Durch die Verarbeitung von Daten auf dem Gerät verbessert der IMX500 den Datenschutz, insbesondere in Situationen, in denen es um sensible Informationen geht, etwa bei Computer-Vision-Aufgaben im Zusammenhang mit Menschen wie der Personenzählung.
• Verarbeitung in Echtzeit: Die Fähigkeit des Sensors, Daten schnell zu verarbeiten, ermöglicht schnelle Entscheidungen in Echtzeit und unterstützt so Edge-AI-Anwendungen wie autonome Systeme.

Der IMX500 ist nicht nur ein Kamerasensor, sondern ein leistungsstarkes Erfassungswerkzeug, das die Wahrnehmung und Interaktion von Geräten mit ihrer Umgebung verändert. Indem Sony AI direkt in den Sensor integriert, macht das Unternehmen Edge AI für Branchen wie die Automobilindustrie, das Gesundheitswesen und Smart Cities zugänglicher. In den folgenden Abschnitten gehen wir näher darauf ein, wie der IMX500 zusammen mit Ultralytics-YOLO-Modellen die Objekterkennung und Datenverarbeitung auf Edge-Geräten verbessert.

Abb. 2. Wei Tang auf der Bühne bei YOLO Vision 2024 bei der Vorstellung des intelligenten Bildsensors Sony IMX500.

Sonys AITRIOS-Plattform: Edge AI vereinfachen#

Nach der Vorstellung des IMX500-Sensors erklärte Wei Tang, dass Hardware zwar entscheidend sei, allein jedoch nicht ausreiche, um die gesamten Herausforderungen der AI-Bereitstellung am Edge zu bewältigen. Sie sprach darüber, dass die Integration von AI in Geräte wie Kameras und Sensoren mehr als nur fortschrittliche Hardware erfordert – es braucht intelligente Software zu ihrer Verwaltung. Hier kommt Sonys AITRIOS-Plattform ins Spiel: Sie bietet eine zuverlässige Softwarelösung, die die Bereitstellung von AI auf Edge-Geräten einfacher und effizienter macht.

AITRIOS fungiert als Brücke zwischen komplexen AI-Modellen und den Einschränkungen von Edge-Geräten. Die Plattform stellt Entwicklern eine Reihe von Werkzeugen zur Verfügung, mit denen sie vortrainierte AI-Modelle schnell bereitstellen können. Noch wichtiger ist, dass sie kontinuierliches Nachtrainieren unterstützt, damit AI-Modelle anpassungsfähig an Veränderungen in der realen Welt bleiben.

Wei hob außerdem hervor, dass AITRIOS den Prozess für Menschen ohne umfassende AI-Kenntnisse vereinfacht und die flexible Anpassung von AI-Modellen an spezifische Anwendungsfälle von Edge AI ermöglicht. Die Plattform bewältigt auch häufige Herausforderungen wie Speicherbeschränkungen und Leistungseinbußen, sodass sich AI leichter in kleinere Geräte integrieren lässt, ohne Genauigkeit oder Geschwindigkeit zu opfern.

Abb. 3. Beispiele für Anwendungsfälle von Edge AI. Bildquelle: SONY Semicon | AITRIOS.

YOLO-Modelle auf dem IMX500 optimieren#

Im zweiten Teil des Vortrags übernahm Amir das Wort und ging auf die technischen Details der Optimierung von YOLO-Modellen auf dem IMX500-Sensor durch Sony ein.

Amir begann mit den Worten: „YOLO-Modelle ermöglichen Edge-Anwendungen und lassen sich dank Glenn und dem Team relativ einfach optimieren. Ich werde dich davon überzeugen, keine Sorge.“ Anschließend erklärte Amir, dass zwar häufig viel Aufmerksamkeit auf die Optimierung des AI-Modells selbst gerichtet werde, dieser Ansatz jedoch ein entscheidendes Problem übersehe: Engpässe bei der Nachbearbeitung.

Amir wies darauf hin, dass die Übertragung von Daten und die Nachbearbeitung auf einem Host-Gerät in vielen Fällen erhebliche Verzögerungen verursachen können, sobald das AI-Modell seine Aufgabe abgeschlossen hat. Diese wiederholte Datenübertragung zwischen Gerät und Host führt zu Latenz und kann ein großes Hindernis für die bestmögliche Leistung sein.

Abb. 4. Amir Servi auf der Bühne bei YOLO Vision 2024 bei der Erklärung von Engpässen bei der Nachbearbeitung.

Um dieses Problem zu lösen, betonte Amir, wie wichtig es sei, das gesamte End-to-End-System zu betrachten, statt sich nur auf das AI-Modell zu konzentrieren. Beim IMX500-Sensor stellten sie fest, dass die Nachbearbeitung der zentrale Engpass war, der den gesamten Ablauf verlangsamte. Er erklärte, dass der eigentliche Durchbruch darin bestand, eine Unterdrückung nicht maximaler Werte (NMS) auf dem Chip zu ermöglichen.

Dadurch konnte die Nachbearbeitung direkt auf dem Sensor erfolgen, sodass keine großen Datenmengen mehr an ein Host-Gerät übertragen werden mussten. Durch die direkte Ausführung von NMS auf dem IMX500 überwand Sony die von Amir als „gläserne Decke der Nachbearbeitung“ bezeichnete Grenze und erzielte eine deutlich bessere Leistung sowie eine geringere Latenz.

Abb. 5. Überwindung des Engpasses bei der Nachbearbeitung. Bildquelle: SONY Semicon | AITRIOS

Als Nächstes sehen wir uns an, wie diese Innovation dazu beigetragen hat, dass YOLO-Modelle, insbesondere Ultralytics YOLOv8 Nano, effizienter auf Edge-Geräten ausgeführt werden können. Dadurch entstehen neue Möglichkeiten für die AI-Verarbeitung in Echtzeit auf kleinerer Hardware mit begrenzten Ressourcen.

Ultralytics-YOLOv8-Modelle erreichen mit Sonys IMX500 eine vierfach höhere Geschwindigkeit#

Zum Abschluss des Vortrags demonstrierte Amir eindrucksvoll, wie das Team die Leistung des Modells Ultralytics YOLOv8 Nano vervierfachen konnte, indem NMS am Edge ausgeführt wurde. Er zeigte dies auf einem Raspberry Pi 5, der mit dem IMX500-AI-Sensor integriert war. Amir verglich die Leistung, wenn die Nachbearbeitung auf einem Host-Gerät beziehungsweise auf dem IMX500-Chip erfolgte.

Die Ergebnisse zeigten deutlich eine erhebliche Verbesserung der Bilder pro Sekunde (FPS) und der Gesamteffizienz, wenn die Verarbeitung auf dem Chip erfolgte. Die Optimierung machte die Objekterkennung schneller und reibungsloser und demonstrierte außerdem die praktische Umsetzbarkeit der AI-Verarbeitung in Echtzeit auf kleineren Geräten mit begrenzten Ressourcen wie dem Raspberry Pi.

Wichtige Erkenntnisse#

Sonys IMX500-Sensor, die AITRIOS-Plattform und Ultralytics-YOLO-Modelle verändern die Entwicklung von Edge AI. Die AI-Verarbeitung auf dem Chip reduziert Datenübertragungen und Latenz und steigert zugleich Datenschutz, Sicherheit und Effizienz. Indem diese Innovationen das gesamte System statt nur das AI-Modell in den Mittelpunkt stellen, machen sie Edge AI für Entwickler und Menschen ohne umfassende AI-Kenntnisse zugänglicher. Mit dem weiteren Fortschritt der Edge-AI-Technologie werden voraussichtlich intelligentere Geräte, schnellere Entscheidungen und ein besserer Schutz der Privatsphäre in zahlreichen Branchen und Anwendungsbereichen möglich.

Bleibe mit unserer Community verbunden, um weiter über AI zu lernen! Besuche unser GitHub-Repository, um zu erfahren, wie wir AI nutzen können, um innovative Lösungen in verschiedenen Branchen wie Landwirtschaft und Fertigung zu entwickeln. 🚀