Edge AI stärken mit Sony IMX500 und AITRIOS

Edge AI ermöglicht es künstlichen Intelligenz (KI)-Modellen, direkt auf Geräten wie Smartphones, Kameras und Drohnen zu arbeiten. Der Hauptvorteil besteht darin, dass sie schnellere Entscheidungen in Echtzeit unterstützt, ohne auf die Cloud angewiesen zu sein. Tatsächlich zeigen Studien, dass der Einsatz von KI auf Edge-Plattformen die betriebliche Effizienz um bis zu 40 % steigern kann.

Jüngste Fortschritte im Bereich Edge AI, insbesondere in der Computer Vision, machten es zu einem zentralen Thema auf der YOLO Vision 2024 (YV24), dem jährlichen Hybrid-Event von Ultralytics, das KI-Enthusiasten und Experten zusammenbringt, um die neuesten Entwicklungen in der Vision AI zu erkunden. Eines der Highlights der Veranstaltung war die Keynote-Präsentation von Sony, in der sie ihre neue, hochmoderne AI-Hardware und Softwarelösungen vorstellten. Der IMX500 Sensor und die AITRIOS Plattform wurden präsentiert, und Sony demonstrierte, wie diese Innovationen den Einsatz von Ultralytics YOLO Modellen wie Ultralytics YOLO11 und Ultralytics YOLOv8 am Edge einfacher und effizienter machen.

Die Sitzung wurde von Wei Tang, einer Business Development Managerin mit Schwerpunkt auf Sonys Imaging-Lösungen, und Amir Servi, einem Edge Deep Learning Product Manager mit Expertise in der Bereitstellung von Deep Learning Modellen auf Edge-Geräten, geleitet.

In diesem Artikel blicken wir auf Sonys Vortrag auf der YV24 zurück und untersuchen, wie der IMX500-Sensor und die AITRIOS-Plattform den Einsatz von YOLO Modellen für eine schnellere KI-Verarbeitung in Echtzeit direkt am Edge optimieren. Fangen wir an!

Link to this sectionSonys Vision: Demokratisierung von KI auf Edge-Geräten#

Wei Tang eröffnete die Sitzung mit der Vision von Sony, Edge AI so zugänglich zu machen, wie sie es vor Jahren mit der Fotografie getan haben. Sie betonte, wie sich Sony jetzt darauf konzentriert, durch Edge Computing fortschrittliche Vision AI zu mehr Menschen zu bringen. Einer der treibenden Faktoren dahinter ist der positive Einfluss, den Edge AI auf die Umwelt haben kann. Indem Daten direkt auf den Geräten verarbeitet werden, anstatt sich auf massive Rechenzentren zu verlassen, trägt Edge Computing dazu bei, den Energieverbrauch zu senken und CO2-Emissionen zu reduzieren. Es ist ein intelligenterer, grünerer Ansatz, der perfekt zu Sonys Engagement passt, Technologien zu entwickeln, die nicht nur besser funktionieren, sondern auch dazu beitragen, eine nachhaltigere Zukunft zu schaffen.

Wei erklärte weiter, wie Sony Semiconductor Solutions, der auf Bildgebungs- und Sensortechnologien spezialisierte Geschäftsbereich von Sony, fortschrittliche Bildsensoren entwickelt. Diese Sensoren werden in einer Vielzahl von Geräten eingesetzt und wandeln Licht in elektronische Signale um, um Bilder aufzunehmen. Mit über 1,2 Milliarden ausgelieferten Sensoren pro Jahr finden sie sich in fast der Hälfte aller Mobiltelefone weltweit, was Sony zu einem wichtigen Akteur in der Bildgebungsindustrie macht.

Abb. 1 Beispiele für Sonys Bildsensoren.

Aufbauend auf dieser Expertise geht Sony nun einen Schritt weiter, indem sie diese Sensoren von reinen Bildaufnahmegeräten in intelligente Werkzeuge verwandeln, die Daten in Echtzeit verarbeiten können und so KI-gestützte Erkenntnisse direkt auf den Geräten ermöglichen. Bevor wir die Hardware- und Softwarelösungen besprechen, die Sony zur Unterstützung dieses Wandels einsetzt, lass uns die Herausforderungen der Edge AI verstehen, die diese Innovationen lösen sollen.

Link to this sectionHerausforderungen bei der KI-Bildverarbeitung auf Edge-Geräten#

Die Entwicklung von Edge AI-Lösungen bringt einige zentrale Herausforderungen mit sich, besonders bei der Arbeit mit Geräten wie Kameras und Sensoren. Viele dieser Geräte haben begrenzte Energie- und Verarbeitungsressourcen, was es schwierig macht, fortschrittliche KI-Modelle effizient auszuführen.

Hier sind einige der anderen Haupteinschränkungen:

• Software-Komplexität: Die Anpassung von KI-Modellen für den Betrieb auf verschiedenen Edge-Geräten mit unterschiedlichen Hardware-Konfigurationen kann komplex sein und Anpassungen sowie Optimierungen erfordern.
• Post-Processing-Engpässe: Oft entsteht eine Verzögerung bei der Übertragung großer Datenmengen vom Gerät an den Host für die Nachverarbeitung. Das verbraucht häufig mehr Zeit als die eigentliche KI-Modellinferenz.
• Datenexplosion: Da viele IoT-Geräte ständig Daten generieren, kann das Volumen der lokal zu verarbeitenden Daten überwältigend sein und Edge-Geräte zusätzlich belasten.

Link to this sectionKennenlernen des intelligenten Bildsensors Sony IMX500#

Der intelligente Bildsensor Sony IMX500 ist eine bahnbrechende Hardware für die Edge AI-Verarbeitung. Es ist der weltweit erste intelligente Bildsensor mit On-Chip-KI-Funktionen. Dieser Sensor hilft, viele Herausforderungen bei Edge AI zu bewältigen, einschließlich Datenverarbeitungsengpässen, Datenschutzbedenken und Leistungsbeschränkungen.

Während andere Sensoren lediglich Bilder und Frames weitergeben, erzählt der IMX500 eine ganze Geschichte. Er verarbeitet Daten direkt auf dem Sensor, wodurch Geräte Erkenntnisse in Echtzeit generieren können. Während der Sitzung sagte Wei Tang: „Durch die Nutzung unserer fortschrittlichen Bildsensortechnologie wollen wir eine neue Generation von Anwendungen ermöglichen, die den Alltag verbessern können.“ Der IMX500 wurde entwickelt, um dieses Ziel zu erreichen, indem er die Art und Weise verändert, wie Geräte Daten direkt auf dem Sensor verarbeiten, ohne sie zur Verarbeitung in die Cloud senden zu müssen.

Hier sind einige der wichtigsten Funktionen:

• Metadaten-Ausgabe: Anstatt vollständige Bilder zu senden, gibt er Metadaten aus, was die Datengröße erheblich reduziert und somit den Bandbreitenverbrauch und die Kosten senkt.
• Verbesserter Datenschutz: Durch die Datenverarbeitung auf dem Gerät verbessert der IMX500 den Datenschutz, insbesondere in Situationen, in denen sensible Informationen involviert sind, wie bei Computer Vision-Aufgaben im Zusammenhang mit Menschen, wie zum Beispiel Personenzählung.
• Echtzeit-Verarbeitung: Die Fähigkeit des Sensors, Daten schnell zu verarbeiten, bedeutet, dass er schnelle Entscheidungen in Echtzeit unterstützt, die Edge AI-Anwendungen wie autonome Systeme ermöglichen.

Der IMX500 ist nicht nur ein Kamerasensor – er ist ein leistungsstarkes Sensorwerkzeug, das die Art und Weise verändert, wie Geräte die Welt um sich herum wahrnehmen und mit ihr interagieren. Durch die Einbettung von KI direkt in den Sensor macht Sony Edge AI zugänglicher für Branchen wie Automobil, Gesundheitswesen und Smart Cities. In den folgenden Abschnitten werden wir uns genauer ansehen, wie der IMX500 mit Ultralytics YOLO Modellen zusammenarbeitet, um die Objekterkennung und Datenverarbeitung auf Edge-Geräten zu verbessern.

Abb. 2. Wei Tang auf der Bühne der YOLO Vision 2024 bei der Vorstellung des intelligenten Bildsensors Sony IMX500.

Link to this sectionSonys AITRIOS-Plattform: Vereinfachung von Edge AI#

Nach der Vorstellung des IMX500-Sensors drückte Wei Tang aus, dass Hardware zwar entscheidend ist, aber für sich allein nicht ausreicht, um das gesamte Spektrum der Herausforderungen bei der Edge-KI-Bereitstellung anzugehen. Sie sprach darüber, dass die Integration von KI auf Geräten wie Kameras und Sensoren mehr als nur fortschrittliche Hardware erfordert – sie benötigt intelligente Software, um sie zu verwalten. Hier kommt Sonys AITRIOS-Plattform ins Spiel, die eine zuverlässige Softwarelösung bietet, um die Bereitstellung von KI auf Edge-Geräten einfacher und effizienter zu gestalten.

AITRIOS fungiert als Brücke zwischen komplexen KI-Modellen und den Einschränkungen von Edge-Geräten. Es bietet Entwicklern eine Reihe von Werkzeugen zur schnellen Bereitstellung vortrainierter KI-Modelle. Was aber noch wichtiger ist: Es unterstützt kontinuierliches Retraining, sodass KI-Modelle anpassungsfähig an reale Veränderungen bleiben können.

Wei betonte auch, wie AITRIOS den Prozess für diejenigen vereinfacht, die keine tiefe KI-Expertise haben, und Flexibilität bietet, um KI-Modelle für spezifische Edge AI-Anwendungsfälle anzupassen. Es geht auch gängige Herausforderungen wie Speicherbeschränkungen und Leistungseinbußen an, was es einfacher macht, KI in kleinere Geräte zu integrieren, ohne Kompromisse bei Genauigkeit oder Geschwindigkeit einzugehen.

Abb. 3. Beispiele für Edge AI-Anwendungsfälle. Bildquelle: SONY Semicon | AITRIOS.

Link to this sectionOptimierung von YOLO Modellen auf dem IMX500#

Im zweiten Teil des Vortrags wurde das Mikrofon an Amir übergeben, der in die technische Seite eintauchte, wie Sony YOLO Modelle auf dem IMX500-Sensor optimierte.

Amir begann mit den Worten: „YOLO Modelle sind Edge-fähig und recht einfach zu optimieren, dank Glenn und dem Team. Ich werde dich davon überzeugen, keine Sorge.“ Amir erklärte dann, dass zwar oft viel Fokus auf die Optimierung des KI-Modells selbst gelegt wird, dieser Ansatz jedoch häufig ein entscheidendes Problem übersieht: Post-Processing-Engpässe.

Amir wies darauf hin, dass in vielen Fällen, sobald das KI-Modell seine Aufgabe erfüllt hat, der Prozess der Datenübertragung und der Nachverarbeitung auf einem Host-Gerät zu erheblichen Verzögerungen führen kann. Dieser Datentransfer zwischen dem Gerät und dem Host führt zu Latenz, was ein Haupthindernis für das Erreichen der besten Leistung sein kann.

Abb. 4. Amir Servi auf der Bühne der YOLO Vision 2024 erklärt die Post-Processing-Engpässe.

Um dies anzugehen, betonte Amir die Bedeutung der Betrachtung des gesamten End-to-End-Systems, anstatt sich nur auf das KI-Modell zu konzentrieren. Mit dem IMX500-Sensor entdeckten sie, dass die Nachverarbeitung der Hauptengpass war, der alles verlangsamte. Er teilte mit, dass der eigentliche Durchbruch die Freischaltung der On-Chip-Non-Maximum Suppression (NMS) war.

Dies ermöglichte es, die Nachverarbeitung direkt auf dem Sensor durchzuführen, wodurch die Notwendigkeit entfiel, große Datenmengen an ein Host-Gerät zu übertragen. Durch die Ausführung von NMS direkt auf dem IMX500 durchbrach Sony das, was Amir als die „Post-Processing-Glaskuppel“ bezeichnete, und erzielte eine weitaus bessere Leistung und Latenzreduzierung.

Abb. 5. Überwindung des Post-Processing-Engpasses. Bildquelle: SONY Semicon | AITRIOS

Als Nächstes werfen wir einen Blick darauf, wie diese Innovation dazu beigetragen hat, YOLO Modelle, insbesondere YOLOv8 Nano, effizienter auf Edge-Geräten auszuführen und neue Möglichkeiten für KI-Verarbeitung in Echtzeit auf kleinerer, ressourcenbeschränkter Hardware zu schaffen.

Link to this sectionYOLOv8 Modelle erzielen 4-fachen Geschwindigkeitsschub mit Sonys IMX500#

Zum Abschluss des Vortrags demonstrierte Amir, wie sie die Leistung des YOLOv8 Nano Modells durch die Ausführung von NMS am Edge vervierfachen konnten. Er zeigte dies auf einem Raspberry Pi 5, der in den IMX500 KI-Sensor integriert war. Amir verglich die Leistung, wenn die Nachverarbeitung auf einem Host-Gerät durchgeführt wurde, mit der auf dem IMX500-Chip.

Die Ergebnisse zeigten deutlich eine deutliche Verbesserung der Bilder pro Sekunde (FPS) und der Gesamteffizienz, wenn die Verarbeitung auf dem Chip erfolgte. Die Optimierung machte die Objekterkennung schneller und flüssiger und demonstrierte zudem die Praktikabilität von KI-Verarbeitung in Echtzeit auf kleineren, ressourcenbeschränkten Geräten wie dem Raspberry Pi.

Link to this sectionWichtige Erkenntnisse#

Sonys IMX500-Sensor, die AITRIOS-Plattform und Ultralytics YOLO Modelle gestalten die Edge AI-Entwicklung neu. On-Chip-KI-Verarbeitung reduziert Datenübertragung und Latenz bei gleichzeitiger Steigerung von Datenschutz, Sicherheit und Effizienz. Durch die Konzentration auf das gesamte System, nicht nur auf das KI-Modell, machen diese Innovationen Edge AI zugänglicher für Entwickler und diejenigen ohne tiefe KI-Expertise. Da die Edge AI-Technologie weiter voranschreitet, wird sie wahrscheinlich intelligentere Geräte, schnellere Entscheidungsfindung und stärkere Datenschutzvorkehrungen in einer Vielzahl von Branchen und Anwendungen ermöglichen.

Bleib mit unserer Community in Verbindung, um weiterhin mehr über KI zu lernen! Besuche unser GitHub-Repository, um zu entdecken, wie wir KI nutzen können, um innovative Lösungen in verschiedenen Branchen wie Landwirtschaft und Fertigung zu schaffen. 🚀