Leistungsstarke Edge AI mit Sony IMX500 und AITRIOS

Abirami Vina

4 Minuten lesen

25. Oktober 2024

Seien Sie dabei, wenn wir die bahnbrechende KI-Verarbeitung von Sony mit dem IMX500-Sensor und der AITRIOS-Plattform rekapitulieren, um die Ultralytics YOLO-Modelle zu optimieren.

Mit Edge AI können Modelle der künstlichen Intelligenz (KI) direkt auf Geräten wie Smartphones, Kameras und Drohnen eingesetzt werden. Ihr Hauptvorteil ist, dass sie eine schnellere Entscheidungsfindung in Echtzeit ermöglicht, ohne auf die Cloud angewiesen zu sein. Tatsächlich zeigen Studien, dass der Einsatz von KI auf Edge-Plattformen die betriebliche Effizienz um bis zu 40 % steigern kann. 

Die jüngsten Fortschritte im Bereich der Künstlichen Intelligenz (KI), insbesondere im Bereich der Computer Vision, waren ein zentrales Thema auf der YOLO Vision 2024 (YV24), der jährlichen Hybrid-Veranstaltung von Ultralytics, die KI-Enthusiasten und Experten zusammenbringt, um die neuesten Entwicklungen im Bereich der KI zu erkunden. Einer der Höhepunkte der Veranstaltung war die Keynote-Präsentation von Sony, bei der das Unternehmen seine neuen, innovativen KI-Hardware- und Softwarelösungen vorstellte. Der IMX500-Sensor und die AITRIOS-Plattform wurden vorgestellt, und Sony demonstrierte, wie diese Innovationen den Einsatz von Ultralytics YOLO-Modellen wie Ultralytics YOLO11 und Ultralytics YOLOv8 auf der Kante einfacher und effizienter machen.

Die Sitzung wurde von Wei Tang, einem Business Development Manager, der sich auf die Bildgebungslösungen von Sony konzentriert, und Amir Servi, einem Edge Deep Learning Product Manager mit Erfahrung in der Bereitstellung von Deep Learning-Modellen auf Edge-Geräten, geleitet. 

In diesem Artikel greifen wir den Vortrag von Sony auf der YV24 wieder auf und untersuchen, wie der IMX500-Sensor und die AITRIOS-Plattform die Verwendung von YOLO-Modellen für eine schnellere KI-Verarbeitung in Echtzeit optimieren. Legen wir los!

Die Vision von Sony: Demokratisierung von KI auf Edge-Geräten

Wei Tang eröffnete die Sitzung, indem sie über das Ziel von Sony sprach, Edge AI so zugänglich zu machen, wie sie es vor Jahren mit der Fotografie getan haben. Sie betonte, dass Sony sich nun darauf konzentriert, fortschrittliche Vision AI durch Edge Computing mehr Menschen zugänglich zu machen. Einer der treibenden Faktoren dahinter ist der positive Einfluss, den Edge AI auf die Umwelt haben kann. Da die Daten direkt auf den Geräten verarbeitet werden und nicht in riesigen Rechenzentren, trägt Edge Computing dazu bei, den Energieverbrauch und die Kohlendioxidemissionen zu senken. Es ist ein intelligenter, umweltfreundlicher Ansatz, der perfekt zu Sonys Engagement passt, Technologien zu entwickeln, die nicht nur besser funktionieren, sondern auch zu einer nachhaltigeren Zukunft beitragen.

Wei erläuterte weiter, wie Sony Semiconductor Solutions, die auf Bildgebungs- und Sensortechnologien spezialisierte Abteilung von Sony, fortschrittliche Bildsensoren herstellt. Diese Sensoren werden in einer Vielzahl von Geräten verwendet und wandeln Licht in elektronische Signale um, um Bilder zu erfassen. Mit über 1,2 Milliarden Sensoren , die jedes Jahr ausgeliefert werden und die in fast der Hälfte aller Mobiltelefone weltweit zu finden sind, ist Sony ein wichtiger Akteur in der Bildgebungsbranche

__wf_reserved_inherit
Abb. 1. Beispiele für Bildsensoren von Sony.

Aufbauend auf diesem Know-how geht Sony nun einen Schritt weiter und verwandelt diese Sensoren von Bildaufnahmegeräten in intelligente Werkzeuge, die Daten in Echtzeit verarbeiten können und so KI-gestützte Erkenntnisse direkt auf den Geräten ermöglichen. Bevor wir uns mit den Hardware- und Softwarelösungen befassen, die Sony zur Unterstützung dieses Wandels einsetzt, sollten wir die Herausforderungen im Bereich KI verstehen, die diese Innovationen lösen sollen.

Herausforderungen im Zusammenhang mit der KI-Bildverarbeitung auf Edge-Geräten

Die Entwicklung von KI-Lösungen ist mit einigen Herausforderungen verbunden, insbesondere bei der Arbeit mit Geräten wie Kameras und Sensoren. Viele dieser Geräte haben eine begrenzte Leistung und Verarbeitungsfähigkeit, was die effiziente Ausführung fortschrittlicher KI-Modelle erschwert.

Hier sind einige der wichtigsten Einschränkungen:

  • Software-Komplexität: Die Anpassung von KI-Modellen an verschiedene Edge-Geräte mit unterschiedlichen Hardware-Konfigurationen kann komplex sein und Anpassungen und Optimierungen erfordern.
  • Engpässe bei der Nachbearbeitung: Bei der Übertragung großer Datenmengen vom Gerät zum Host für die Nachbearbeitung kommt es häufig zu Verzögerungen. Dies nimmt oft mehr Zeit in Anspruch als die eigentliche KI-Modellinferenz.
  • Datenexplosion: Da viele IoT-Geräte ständig Daten erzeugen, kann das Datenvolumen, das lokal verarbeitet werden muss, überwältigend sein, was die Edge-Geräte zusätzlich belastet.

Kennenlernen des intelligenten Bildsensors IMX500 von Sony

Der Sony IMX500 Intelligent Vision Sensor ist ein bahnbrechendes Stück Hardware für die KI-Verarbeitung. Er ist der weltweit erste intelligente Vision-Sensor mit On-Chip-KI-Funktionen. Dieser Sensor hilft dabei, viele Herausforderungen der Edge-KI zu überwinden, darunter Engpässe bei der Datenverarbeitung, Datenschutzbedenken und Leistungseinschränkungen.

Während andere Sensoren lediglich Bilder und Frames weitergeben, erzählt der IMX500 eine ganze Geschichte. Er verarbeitet die Daten direkt auf dem Sensor und ermöglicht es den Geräten, Erkenntnisse in Echtzeit zu gewinnen. Wei Tang sagte während der Sitzung: "Durch den Einsatz unserer fortschrittlichen Bildsensortechnologie wollen wir eine neue Generation von Anwendungen ermöglichen, die das tägliche Leben verbessern können." Der IMX500 wurde entwickelt, um dieses Ziel zu erreichen, indem er die Art und Weise verändert, wie Geräte Daten direkt auf dem Sensor verarbeiten, ohne dass sie zur Verarbeitung in die Cloud geschickt werden müssen.

Hier sind einige der wichtigsten Merkmale des Programms:

  • Ausgabe von Metadaten: Anstatt vollständige Bilder zu senden, werden Metadaten ausgegeben, wodurch die Datenmenge erheblich reduziert wird, was die Bandbreitennutzung und die Kosten verringert.
  • Verbesserter Datenschutz: Durch die Verarbeitung von Daten auf dem Gerät verbessert der IMX500 den Datenschutz, insbesondere in Situationen, in denen es um sensible Informationen geht, wie z. B. bei menschenbezogenen Computer-Vision-Aufgaben wie der Personenzählung.
  • Verarbeitung in Echtzeit: Die Fähigkeit des Sensors, Daten schnell zu verarbeiten, bedeutet, dass er schnelle Echtzeit-Entscheidungen unterstützt, die KI-Anwendungen wie autonome Systeme ermöglichen.

Der IMX500 ist nicht einfach nur ein Kamerasensor - er ist ein leistungsstarkes Sensortool, das die Art und Weise verändert, wie Geräte die Welt um sie herum wahrnehmen und mit ihr interagieren. Durch die Einbettung von KI direkt in den Sensor macht Sony KI für Branchen wie die Automobilindustrie, das Gesundheitswesen und intelligente Städte zugänglicher. In den folgenden Abschnitten werden wir näher darauf eingehen, wie der IMX500 mit den YOLO-Modellen von Ultralytics arbeitet, um die Objekterkennung und Datenverarbeitung auf Edge-Geräten zu verbessern.

__wf_reserved_inherit
Abb. 2. Wei Tang auf der Bühne der YOLO VIiion 2024 bei der Vorstellung des Sony IMX500 Intelligent Vision Sensor.

Die AITRIOS-Plattform von Sony: Vereinfachung von Edge AI

Nach der Vorstellung des IMX500-Sensors brachte Wei Tang zum Ausdruck, dass die Hardware zwar von entscheidender Bedeutung ist, aber allein nicht ausreicht, um alle Herausforderungen zu bewältigen, die mit dem Einsatz von Edge-KI verbunden sind. Sie sprach darüber, dass die Integration von KI in Geräte wie Kameras und Sensoren nicht nur fortschrittliche Hardware erfordert, sondern auch eine intelligente Software, um sie zu verwalten. Hier kommt die AITRIOS-Plattform von Sony ins Spiel. Sie bietet eine zuverlässige Softwarelösung, die den Einsatz von KI auf Edge-Geräten einfacher und effizienter macht.

AITRIOS fungiert als Brücke zwischen komplexen KI-Modellen und den Einschränkungen von Edge-Geräten. Es bietet Entwicklern eine Reihe von Tools für den schnellen Einsatz von vortrainierten KI-Modellen. Noch wichtiger ist jedoch, dass es eine kontinuierliche Umschulung unterstützt, damit die KI-Modelle an reale Veränderungen angepasst werden können. 

Wei hob auch hervor, wie AITRIOS den Prozess für diejenigen vereinfacht, die nicht über tiefgreifende KI-Kenntnisse verfügen, und bietet Flexibilität bei der Anpassung von KI-Modellen für spezifische KI-Einsatzfälle. Darüber hinaus werden gängige Herausforderungen wie Speicherbeschränkungen und Leistungseinbußen angegangen, wodurch die Integration von KI in kleinere Geräte ohne Einbußen bei der Genauigkeit oder Geschwindigkeit erleichtert wird. 

__wf_reserved_inherit
Abb. 3. Beispiele für Anwendungsfälle von Edge AI. Bildquelle: SONY Semicon | AITRIOS.

Optimierung der YOLO-Modelle auf dem IMX500

Im zweiten Teil des Vortrags wurde das Mikrofon an Amir übergeben, der auf die technische Seite der Optimierung der YOLO-Modelle von Sony auf dem IMX500-Sensor einging. 

Amir begann mit den Worten: "Die YOLO-Modelle ermöglichen einen Vorsprung und sind dank Glenn und dem Team recht einfach zu optimieren. Ich werde Sie davon überzeugen, keine Sorge." Amir erläuterte dann, dass man sich zwar in der Regel auf die Optimierung des KI-Modells selbst konzentriere, dabei aber oft ein entscheidendes Problem übersehe: Engpässe bei der Nachbearbeitung.

Amir wies darauf hin, dass in vielen Fällen, sobald das KI-Modell seine Aufgabe erfüllt hat, der Prozess der Datenübertragung und der Nachbearbeitung auf einem Host-Gerät erhebliche Verzögerungen verursachen kann. Diese Hin- und Her-Übertragung von Daten zwischen dem Gerät und dem Host-Gerät führt zu Latenzzeiten, die ein großes Hindernis für das Erreichen der besten Leistung darstellen können.

__wf_reserved_inherit
Abbildung 4. Amir Servi auf der Bühne der YOLO Vision 2024 bei der Erläuterung von Engpässen bei der Nachbearbeitung.

Um dieses Problem anzugehen, betonte Amir, wie wichtig es ist, das gesamte End-to-End-System zu betrachten und sich nicht nur auf das KI-Modell zu konzentrieren. Beim IMX500-Sensor entdeckten sie, dass die Nachbearbeitung der Hauptengpass war, der alles verlangsamte. Er teilte mit, dass der eigentliche Durchbruch in der Freischaltung der Nicht-Maximum-Unterdrückung (NMS) auf dem Chip lag. 

Es ermöglichte die Nachbearbeitung direkt auf dem Sensor und machte die Übertragung großer Datenmengen an ein Host-Gerät überflüssig. Durch die direkte Ausführung von NMS auf dem IMX500 durchbrach Sony das, was Amir als "gläserne Decke der Nachbearbeitung" bezeichnete, und erzielte eine weitaus bessere Leistung und geringere Latenzzeiten.

__wf_reserved_inherit
Abbildung 6. Überwindung des Nachbearbeitungsengpasses. Bildquelle: SONY Semicon | AITRIOS

Als Nächstes werfen wir einen Blick darauf, wie diese Innovation dazu beigetragen hat, dass die YOLO-Modelle, insbesondere YOLOv8 Nano, effizienter auf Edge-Geräten laufen und neue Möglichkeiten für die Echtzeit-KI-Verarbeitung auf kleinerer, ressourcenbeschränkter Hardware schaffen.

YOLOv8-Modelle erreichen mit Sonys IMX500 einen 4-fachen Geschwindigkeitsschub

Zum Abschluss des Vortrags demonstrierte Amir, wie sie die Leistung des YOLOv8 Nano Modells vervierfachen konnten, indem sie NMS on edge ausführten. Er zeigte dies auf einem Raspberry Pi 5, der mit dem IMX500 AI-Sensor integriert war. Amir verglich die Leistung, wenn die Nachbearbeitung auf einem Host-Gerät und auf dem IMX500-Chip durchgeführt wurde. 

Die Ergebnisse zeigten eindeutig eine erhebliche Verbesserung der Bilder pro Sekunde (FPS) und der Gesamteffizienz, wenn die Verarbeitung auf dem Chip erfolgte. Die Optimierung führte zu einer schnelleren und flüssigeren Objekterkennung und demonstrierte die Praxistauglichkeit der Echtzeit-KI-Verarbeitung auf kleineren, ressourcenbeschränkten Geräten wie dem Raspberry Pi.

Die wichtigsten Erkenntnisse

Der IMX500-Sensor von Sony, die AITRIOS-Plattform und die YOLO-Modelle von Ultralytics setzen neue Maßstäbe für die KI-Entwicklung. Die KI-Verarbeitung auf dem Chip reduziert die Datenübertragung und die Latenzzeit und verbessert gleichzeitig den Datenschutz, die Sicherheit und die Effizienz. Da der Fokus auf dem gesamten System und nicht nur auf dem KI-Modell liegt, machen diese Innovationen die Edge-KI auch für Entwickler und Personen ohne tiefgreifende KI-Kenntnisse zugänglicher. Die Weiterentwicklung der Edge-KI-Technologie wird wahrscheinlich intelligentere Geräte, schnellere Entscheidungen und einen stärkeren Schutz der Privatsphäre in einer Vielzahl von Branchen und Anwendungen ermöglichen.

Bleiben Sie mit unserer Community in Verbindung, um mehr über KI zu erfahren! Besuchen Sie unser GitHub-Repository, um zu erfahren, wie wir KI nutzen können, um innovative Lösungen in verschiedenen Branchen wie der Landwirtschaft und der Fertigung zu entwickeln. 🚀

Lassen Sie uns gemeinsam die Zukunft
der KI gestalten!

Beginnen Sie Ihre Reise in die Zukunft des maschinellen Lernens

Kostenloser Start
Link in die Zwischenablage kopiert