Edge AI stärken mit Sony IMX500 und AITRIOS

Edge AI ermöglicht es Modellen der künstlichen Intelligenz (KI), direkt auf Geräten wie Smartphones, Kameras und Drohnen zu arbeiten. Der Hauptvorteil besteht darin, dass schnellere Entscheidungen in Echtzeit unterstützt werden, ohne auf die Cloud angewiesen zu sein. Tatsächlich zeigen Studien, dass der Einsatz von KI auf Edge-Plattformen die betriebliche Effizienz um bis zu 40 % steigern kann.

Jüngste Fortschritte im Bereich Edge AI, insbesondere in der Computer Vision, machten dies zu einem zentralen Thema auf der YOLO Vision 2024 (YV24), dem jährlichen Hybrid-Event von Ultralytics, das KI-Enthusiasten und Experten zusammenbringt, um die neuesten Entwicklungen im Bereich Vision AI zu erkunden. Eines der Highlights der Veranstaltung war Sonys Keynote-Präsentation, in der sie ihre neuen, bahnbrechenden KI-Hardware- und Softwarelösungen vorstellten. Der IMX500-Sensor und die AITRIOS-Plattform wurden präsentiert, und Sony zeigte, wie diese Innovationen es einfacher und effizienter machen, Ultralytics YOLO-Modelle wie Ultralytics YOLO11 und Ultralytics YOLOv8 an der Edge zu deployen.

Die Session wurde von Wei Tang, einer Business Development Managerin mit Fokus auf Sonys Bildverarbeitungslösungen, und Amir Servi, einem Edge Deep Learning Product Manager mit Expertise im Deployment von Deep-Learning-Modellen auf Edge-Geräten, geleitet.

In diesem Artikel blicken wir auf Sonys Vortrag auf der YV24 zurück und untersuchen, wie der IMX500-Sensor und die AITRIOS-Plattform den Einsatz von YOLO Modellen für eine schnellere KI-Verarbeitung in Echtzeit direkt am Edge optimieren. Fangen wir an!

Sonys Vision: Demokratisierung von KI auf Edge-Geräten#

Wei Tang eröffnete die Session mit der Erwähnung von Sonys Ziel, Edge AI genauso zugänglich zu machen wie vor Jahren die Fotografie. Sie betonte, wie sich Sony nun darauf konzentriert, fortgeschrittene Vision AI durch Edge Computing mehr Menschen zugänglich zu machen. Einer der treibenden Faktoren dahinter ist die positive Auswirkung, die Edge AI auf die Umwelt haben kann. Indem Daten direkt auf Geräten verarbeitet werden, anstatt sich auf massive Rechenzentren zu verlassen, trägt Edge Computing dazu bei, den Energieverbrauch zu senken und CO2-Emissionen zu reduzieren. Es ist ein smarterer, umweltfreundlicherer Ansatz, der perfekt zu Sonys Selbstverständnis passt, Technologie zu entwickeln, die nicht nur besser funktioniert, sondern auch dazu beiträgt, eine nachhaltigere Zukunft zu schaffen.

Wei erklärte weiter, wie Sony Semiconductor Solutions, die auf Bildgebungs- und Sensoriktechnologien spezialisierte Division von Sony, fortschrittliche Bildsensoren entwickelt. Diese Sensoren werden in einer Vielzahl von Geräten eingesetzt und wandeln Licht in elektronische Signale um, um Bilder aufzunehmen. Mit über 1,2 Milliarden ausgelieferten Sensoren pro Jahr sind sie in fast der Hälfte aller Mobiltelefone weltweit zu finden, was Sony zu einem Hauptakteur in der Bildverarbeitungsindustrie macht.

Abb. 1: Beispiele für Sonys Bildsensoren.

Auf dieser Expertise aufbauend geht Sony nun einen Schritt weiter und wandelt diese Sensoren von bildaufnehmenden Geräten in smarte Werkzeuge um, die Daten in Echtzeit verarbeiten können, wodurch KI-gestützte Erkenntnisse direkt auf Geräten ermöglicht werden. Bevor wir über die Hard- und Softwarelösungen sprechen, mit denen Sony diesen Wandel unterstützt, wollen wir die Herausforderungen der Edge AI verstehen, die diese Innovationen lösen sollen.

Herausforderungen bei der KI-Bildverarbeitung auf Edge-Geräten#

Die Entwicklung von Edge-AI-Lösungen bringt einige wesentliche Herausforderungen mit sich, insbesondere bei der Arbeit mit Geräten wie Kameras und Sensoren. Viele dieser Geräte verfügen über eine begrenzte Leistung und Verarbeitungskapazität, was es schwierig macht, fortgeschrittene KI-Modelle effizient auszuführen.

Hier sind einige der anderen Haupteinschränkungen:

• Softwarekomplexität: Die Anpassung von KI-Modellen für den Einsatz auf verschiedenen Edge-Geräten mit unterschiedlichen Hardwarekonfigurationen kann komplex sein und Anpassungen sowie Optimierungen erfordern.
• Post-Processing-Engpässe: Bei der Übertragung großer Datenmengen vom Gerät an den Host zur Nachbearbeitung kommt es häufig zu Verzögerungen. Dies verbraucht oft mehr Zeit als die eigentliche KI-Modellinferenz.
• Datenexplosion: Da viele IoT-Geräte ständig Daten generieren, kann das Volumen der lokal zu verarbeitenden Daten überwältigend sein und Edge-Geräte zusätzlich belasten.

Kennenlernen des intelligenten Bildsensors Sony IMX500#

Der intelligente Vision-Sensor Sony IMX500 ist ein bahnbrechendes Hardwarestück in der Edge-AI-Verarbeitung. Er ist der weltweit erste intelligente Vision-Sensor mit On-Chip-KI-Funktionen. Dieser Sensor hilft, viele Herausforderungen bei Edge AI zu überwinden, darunter Datenverarbeitungsengpässe, Datenschutzbedenken und Leistungseinschränkungen.

Während andere Sensoren lediglich Bilder und Frames weiterleiten, erzählt der IMX500 eine ganze Geschichte. Er verarbeitet Daten direkt auf dem Sensor, sodass Geräte in Echtzeit Erkenntnisse generieren können. Während der Session sagte Wei Tang: „Durch die Nutzung unserer fortschrittlichen Bildsensortechnologie wollen wir eine neue Generation von Anwendungen ermöglichen, die das alltägliche Leben verbessern können.“ Der IMX500 wurde entwickelt, um dieses Ziel zu erreichen, und transformiert die Art und Weise, wie Geräte Daten direkt auf dem Sensor verarbeiten, ohne sie zur Verarbeitung in die Cloud senden zu müssen.

Hier sind einige der wichtigsten Funktionen:

• Metadaten-Ausgabe: Anstatt vollständige Bilder zu senden, gibt er Metadaten aus, was die Datengröße erheblich reduziert und somit den Bandbreitenverbrauch und die Kosten senkt.
• Erweiterter Datenschutz: Durch die Datenverarbeitung auf dem Gerät verbessert der IMX500 den Datenschutz, insbesondere in Situationen, in denen sensible Informationen eine Rolle spielen, wie etwa bei menschenbezogenen Computer-Vision-Aufgaben wie der Personenzählung.
• Echtzeitverarbeitung: Die Fähigkeit des Sensors, Daten schnell zu verarbeiten, bedeutet, dass er schnelle Entscheidungen in Echtzeit unterstützt, die Edge-AI-Anwendungen wie autonome Systeme ermöglichen.

Der IMX500 ist nicht nur ein Kamerasensor – er ist ein leistungsstarkes Sensorwerkzeug, das die Art und Weise verändert, wie Geräte die Welt um sich herum wahrnehmen und mit ihr interagieren. Durch die Integration von KI direkt in den Sensor macht Sony Edge AI zugänglicher für Branchen wie die Automobilindustrie, das Gesundheitswesen und Smart Cities. In den folgenden Abschnitten werden wir genauer betrachten, wie der IMX500 mit Ultralytics YOLO-Modellen zusammenarbeitet, um die Objekterkennung und Datenverarbeitung auf Edge-Geräten zu verbessern.

Abb. 2. Wei Tang auf der Bühne der YOLO Vision 2024 bei der Vorstellung des intelligenten Bildsensors Sony IMX500.

Sonys AITRIOS-Plattform: Vereinfachung von Edge AI#

Nach der Vorstellung des IMX500-Sensors erklärte Wei Tang, dass Hardware zwar von entscheidender Bedeutung ist, aber allein nicht ausreicht, um das gesamte Spektrum der Herausforderungen beim Edge-KI-Deployment zu bewältigen. Sie sprach darüber, dass die Integration von KI auf Geräten wie Kameras und Sensoren mehr erfordert als nur fortschrittliche Hardware – es braucht intelligente Software, um diese zu verwalten. Hier kommt Sonys AITRIOS-Plattform ins Spiel, die eine zuverlässige Softwarelösung bietet, um das Deployment von KI auf Edge-Geräten einfacher und effizienter zu gestalten.

AITRIOS fungiert als Brücke zwischen komplexen KI-Modellen und den Einschränkungen von Edge-Geräten. Es stellt Entwicklern eine Reihe von Tools für das schnelle Deployment vortrainierter KI-Modelle zur Verfügung. Noch wichtiger ist jedoch, dass es ein kontinuierliches Retraining unterstützt, damit KI-Modelle anpassungsfähig an reale Veränderungen bleiben.

Wei hob auch hervor, wie AITRIOS den Prozess für diejenigen vereinfacht, die keine tiefgehende KI-Expertise besitzen, und Flexibilität bietet, um KI-Modelle für spezifische Edge-AI Anwendungsfälle anzupassen. Es bewältigt auch alltägliche Herausforderungen wie Speicherbeschränkungen und Leistungsabfälle, wodurch es einfacher wird, KI in kleinere Geräte zu integrieren, ohne dabei an Genauigkeit oder Geschwindigkeit einzubüßen.

Abb. 3. Beispiele für Edge AI-Anwendungsfälle. Bildquelle: SONY Semicon | AITRIOS.

Optimierung von YOLO Modellen auf dem IMX500#

Im zweiten Teil des Vortrags übergab sie das Mikrofon an Amir, der in die technische Seite eintauchte, wie Sony YOLO-Modelle auf dem IMX500-Sensor optimierte.

Amir begann mit den Worten: „YOLO-Modelle sind Edge-fähig und lassen sich dank Glenn und dem Team recht einfach optimieren. Ich werde dich davon überzeugen, keine Sorge.“ Amir erklärte daraufhin, dass, während viel Fokus typischerweise auf die Optimierung des KI-Modells selbst gelegt wird, dieser Ansatz oft ein entscheidendes Anliegen übersieht: Post-Processing-Engpässe.

Amir wies darauf hin, dass in vielen Fällen, sobald das KI-Modell seine Aufgabe beendet hat, der Prozess der Datenübertragung und der Nachbearbeitung auf einem Host-Gerät zu erheblichen Verzögerungen führen kann. Dieser Datenaustausch zwischen Gerät und Host erzeugt Latenzen, die ein großes Hindernis für das Erreichen der besten Leistung darstellen können.

Abb. 4. Amir Servi auf der Bühne der YOLO Vision 2024 erklärt die Post-Processing-Engpässe.

Um dies anzugehen, betonte Amir, wie wichtig es ist, das gesamte End-to-End-System zu betrachten, anstatt sich nur auf das KI-Modell zu konzentrieren. Mit dem IMX500-Sensor stellten sie fest, dass die Nachbearbeitung der Hauptengpass war, der alles verlangsamte. Er teilte mit, dass der wirkliche Durchbruch darin bestand, die On-Chip-Non-Maximum Suppression (NMS) zu ermöglichen.

Dies ermöglichte es, die Nachverarbeitung direkt auf dem Sensor durchzuführen, wodurch die Notwendigkeit entfiel, große Datenmengen an ein Host-Gerät zu übertragen. Durch die Ausführung von NMS direkt auf dem IMX500 durchbrach Sony das, was Amir als die „Post-Processing-Glaskuppel“ bezeichnete, und erzielte eine weitaus bessere Leistung und Latenzreduzierung.

Abb. 5. Überwindung des Post-Processing-Engpasses. Bildquelle: SONY Semicon | AITRIOS

Als Nächstes schauen wir uns an, wie diese Innovation dazu beigetragen hat, dass YOLO-Modelle, insbesondere Ultralytics YOLOv8 Nano, effizienter auf Edge-Geräten laufen, wodurch neue Möglichkeiten für die KI-Echtzeitverarbeitung auf kleinerer, ressourcenbeschränkter Hardware entstehen.

Ultralytics YOLOv8-Modelle erreichen 4-fachen Geschwindigkeitszuwachs mit dem IMX500 von Sony#

Zum Abschluss des Vortrags auf einer positiven Note zeigte Amir, wie sie die Leistung des Ultralytics YOLOv8 Nano-Modells durch die Ausführung von NMS am Edge vervierfachen konnten. Er demonstrierte dies auf einem Raspberry Pi 5, der in den IMX500 AI-Sensor integriert war. Amir verglich die Leistung, wenn die Nachbearbeitung auf einem Host-Gerät statt auf dem IMX500-Chip durchgeführt wurde.

Die Ergebnisse zeigten deutlich eine massive Verbesserung der Frames per Second (FPS) und der Gesamteffizienz, wenn die Verarbeitung On-Chip erfolgte. Die Optimierung machte die Objekterkennung schneller und flüssiger und bewies zudem die Praxistauglichkeit der Echtzeit-KI-Verarbeitung auf kleineren, ressourcenbeschränkten Geräten wie dem Raspberry Pi.

Wichtige Erkenntnisse#

Sonys IMX500-Sensor, die AITRIOS-Plattform und Ultralytics YOLO Modelle gestalten die Edge AI-Entwicklung neu. On-Chip-KI-Verarbeitung reduziert Datenübertragung und Latenz bei gleichzeitiger Steigerung von Datenschutz, Sicherheit und Effizienz. Durch die Konzentration auf das gesamte System, nicht nur auf das KI-Modell, machen diese Innovationen Edge AI zugänglicher für Entwickler und diejenigen ohne tiefe KI-Expertise. Da die Edge AI-Technologie weiter voranschreitet, wird sie wahrscheinlich intelligentere Geräte, schnellere Entscheidungsfindung und stärkere Datenschutzvorkehrungen in einer Vielzahl von Branchen und Anwendungen ermöglichen.

Bleibe mit unserer community in Verbindung, um weiter mehr über KI zu lernen! Schau dir unser GitHub repository an, um herauszufinden, wie wir KI nutzen können, um innovative Lösungen in verschiedenen Branchen wie agriculture und manufacturing zu entwickeln. 🚀