Edge AI ermöglicht es Modellen der künstlichen Intelligenz (KI), direkt auf Geräten wie Smartphones, Kameras und Drohnen zu arbeiten. Ihr Hauptvorteil ist, dass sie schnellere Echtzeit-Entscheidungen unterstützt, ohne auf die Cloud angewiesen zu sein. Tatsächlich zeigen Studien, dass der Einsatz von KI auf Edge-Plattformen die betriebliche Effizienz um bis zu 40 % steigern kann. 

Die jüngsten Fortschritte im Bereich der Künstlichen Intelligenz (KI), insbesondere im Bereich der Computer Vision, waren ein zentrales Thema auf der YOLO Vision 2024 (YV24), der jährlichen Hybrid-Veranstaltung von Ultralytics, die KI-Enthusiasten und Experten zusammenbringt, um die neuesten Entwicklungen im Bereich der KI zu erkunden. Einer der Höhepunkte der Veranstaltung war die Keynote-Präsentation von Sony, bei der das Unternehmen seine neuen, innovativen KI-Hardware- und Softwarelösungen vorstellte. Der IMX500-Sensor und die AITRIOS-Plattform wurden vorgestellt, und Sony zeigte, wie diese Innovationen den Einsatz von Ultralytics YOLO wie Ultralytics YOLO11 und Ultralytics YOLOv8 auf der Kante.

Die Sitzung wurde von Wei Tang, einem Business Development Manager mit Schwerpunkt auf Imaging-Lösungen von Sony, und Amir Servi, einem Edge Deep Learning Product Manager mit Expertise im Bereich Deployment von Deep-Learning-Modellen auf Edge-Geräten, geleitet. 

In diesem Artikel greifen wir den Vortrag von Sony auf der YV24 wieder auf und untersuchen, wie der IMX500-Sensor und die AITRIOS-Plattform die Verwendung von YOLO für eine schnellere KI-Verarbeitung in Echtzeit optimieren. Legen wir los!

Sonys Vision: Demokratisierung von KI auf Edge-Geräten

Wei Tang eröffnete die Sitzung mit einem Vortrag über das Ziel von Sony, Edge-KI so zugänglich zu machen, wie sie es vor Jahren mit der Fotografie getan haben. Sie betonte, dass sich Sony nun darauf konzentriert, fortschrittliche Vision AI durch Edge Computing mehr Menschen zugänglich zu machen. Einer der treibenden Faktoren dafür ist der positive Einfluss, den Edge-KI auf die Umwelt haben kann. Durch die Verarbeitung von Daten direkt auf Geräten, anstatt sich auf massive Rechenzentren zu verlassen, trägt Edge Computing dazu bei, den Energieverbrauch zu senken und die Kohlenstoffemissionen zu reduzieren. Es ist ein intelligenterer, umweltfreundlicherer Ansatz, der perfekt zu Sonys Engagement passt, Technologien zu entwickeln, die nicht nur besser funktionieren, sondern auch dazu beitragen, eine nachhaltigere Zukunft zu schaffen.

Wei erklärte weiter, wie Sony Semiconductor Solutions, der Geschäftsbereich von Sony, der sich auf Bildgebungs- und Sensortechnologien spezialisiert hat, fortschrittliche Bildsensoren entwickelt. Diese Sensoren werden in einer Vielzahl von Geräten eingesetzt und wandeln Licht in elektronische Signale um, um Bilder aufzunehmen. Mit über 1,2 Milliarden ausgelieferten Sensoren pro Jahr sind sie in fast der Hälfte aller Mobiltelefone der Welt zu finden, was Sony zu einem wichtigen Akteur in der Bildgebungs-Industrie macht. 

‍

Aufbauend auf dieser Expertise geht Sony nun noch einen Schritt weiter und wandelt diese Sensoren von Bilderfassungsgeräten in intelligente Werkzeuge um, die Daten in Echtzeit verarbeiten können und so KI-gestützte Erkenntnisse direkt auf den Geräten ermöglichen. Bevor wir auf die Hardware- und Softwarelösungen eingehen, die Sony zur Unterstützung dieser Verlagerung einsetzt, wollen wir die Edge-KI-Herausforderungen verstehen, die diese Innovationen lösen sollen.

Herausforderungen im Zusammenhang mit der KI-Bildverarbeitung auf Edge-Geräten

Die Entwicklung von Edge-KI-Lösungen bringt einige wichtige Herausforderungen mit sich, insbesondere bei der Arbeit mit Geräten wie Kameras und Sensoren. Viele dieser Geräte haben eine begrenzte Leistung und Rechenkapazität, was es schwierig macht, fortschrittliche KI-Modelle effizient auszuführen.

Hier sind einige der anderen wesentlichen Einschränkungen:

• Softwarekomplexität: Die Anpassung von KI-Modellen für die Verwendung auf verschiedenen Edge-Geräten mit unterschiedlichen Hardwarekonfigurationen kann komplex sein und Anpassungen und Optimierungen erfordern.
  ‍
• Engpässe bei der Nachbearbeitung: Oftmals entsteht eine Verzögerung, wenn große Datenmengen vom Gerät zur Nachbearbeitung an den Host übertragen werden. Dies beansprucht oft mehr Zeit als die eigentliche KI-Modellinferenz.
  ‍
• Datenexplosion: Da viele IoT-Geräte ständig Daten generieren, kann die Menge der Daten, die lokal verarbeitet werden müssen, überwältigend sein, was Edge-Geräte zusätzlich belastet.

Den intelligenten Visionssensor Sony IMX500 kennenlernen

Der intelligente Vision-Sensor Sony IMX500 ist eine bahnbrechende Hardware für die Edge-AI-Verarbeitung. Es ist der weltweit erste intelligente Vision-Sensor mit On-Chip-KI-Funktionen. Dieser Sensor hilft, viele Herausforderungen im Bereich Edge AI zu bewältigen, darunter Engpässe bei der Datenverarbeitung, Datenschutzbedenken und Leistungsbeschränkungen.

Während andere Sensoren lediglich Bilder und Frames weiterleiten, erzählt der IMX500 eine ganze Geschichte. Er verarbeitet Daten direkt auf dem Sensor, sodass Geräte Erkenntnisse in Echtzeit generieren können. Während der Sitzung sagte Wei Tang: "Durch die Nutzung unserer fortschrittlichen Bildsensortechnologie wollen wir eine neue Generation von Anwendungen ermöglichen, die das tägliche Leben verbessern können." Der IMX500 wurde entwickelt, um dieses Ziel zu erreichen und die Art und Weise zu verändern, wie Geräte Daten direkt auf dem Sensor verarbeiten, ohne sie zur Verarbeitung in die Cloud senden zu müssen.

Hier sind einige seiner Hauptmerkmale:

• Metadatenausgabe: Anstatt vollständige Bilder zu senden, werden Metadaten ausgegeben, wodurch die Datengröße erheblich reduziert wird, was die Bandbreitennutzung und die Kosten senkt.
  ‍
• Verbesserter Datenschutz: Durch die Verarbeitung von Daten auf dem Gerät verbessert der IMX500 den Datenschutz, insbesondere in Situationen, in denen sensible Informationen beteiligt sind, wie z. B. bei Computer-Vision-Aufgaben im Zusammenhang mit Menschen wie der Personenzählung.
  ‍
• Echtzeitverarbeitung: Die Fähigkeit des Sensors, Daten schnell zu verarbeiten, bedeutet, dass er eine schnelle Echtzeit-Entscheidungsfindung unterstützt, die Edge-KI-Anwendungen wie autonome Systeme ermöglicht.

Der IMX500 ist nicht einfach nur ein Kamerasensor - er ist ein leistungsstarkes Sensortool, das die Art und Weise verändert, wie Geräte die Welt um sie herum wahrnehmen und mit ihr interagieren. Durch die Einbettung von KI direkt in den Sensor macht Sony KI für Branchen wie die Automobilindustrie, das Gesundheitswesen und intelligente Städte zugänglicher. In den folgenden Abschnitten werden wir näher darauf eingehen, wie der IMX500 mit denYOLO Ultralytics arbeitet, um die Objekterkennung und Datenverarbeitung auf Edge-Geräten zu verbessern.

‍

Sonys AITRIOS-Plattform: Vereinfachung von Edge AI

Nach der Vorstellung des IMX500-Sensors erklärte Wei Tang, dass Hardware zwar entscheidend ist, aber allein nicht ausreicht, um den gesamten Umfang der Herausforderungen bei der KI-Bereitstellung am Edge zu bewältigen. Sie sprach darüber, dass die Integration von KI auf Geräten wie Kameras und Sensoren mehr als nur fortschrittliche Hardware erfordert - sie benötigt intelligente Software, um sie zu verwalten. Hier kommt die AITRIOS-Plattform von Sony ins Spiel, die eine zuverlässige Softwarelösung bietet, die die Bereitstellung von KI auf Edge-Geräten vereinfachen und effizienter gestalten soll.

AITRIOS fungiert als Brücke zwischen komplexen KI-Modellen und den Beschränkungen von Edge-Geräten. Es bietet Entwicklern eine Reihe von Tools für die schnelle Bereitstellung vortrainierter KI-Modelle. Noch wichtiger ist jedoch, dass es ein kontinuierliches Retraining unterstützt, sodass sich KI-Modelle an Veränderungen in der realen Welt anpassen können. 

Wei hob auch hervor, wie AITRIOS den Prozess für diejenigen vereinfacht, die keine tiefgreifenden KI-Kenntnisse besitzen, und bietet Flexibilität bei der Anpassung von KI-Modellen für spezifische Edge-KI-Anwendungsfälle. Es werden auch häufige Herausforderungen wie Speicherbeschränkungen und Performance-Einbußen angegangen, wodurch es einfacher wird, KI in kleinere Geräte zu integrieren, ohne Abstriche bei Genauigkeit oder Geschwindigkeit zu machen. 

‍

Optimierung der YOLO auf dem IMX500

Im zweiten Teil des Vortrags wurde das Mikrofon an Amir übergeben, der auf die technische Seite der Optimierung der YOLO von Sony auf dem IMX500-Sensor einging. 

Amir begann mit den Worten: "DieYOLO ermöglichen einen Vorsprung und sind dank Glenn und dem Team recht einfach zu optimieren. Ich werde Sie davon überzeugen, keine Sorge." Amir erläuterte dann, dass man sich zwar in der Regel auf die Optimierung des KI-Modells selbst konzentriere, dabei aber oft ein entscheidendes Problem übersehe: Engpässe bei der Nachbearbeitung.

Amir wies darauf hin, dass in vielen Fällen, sobald das KI-Modell seine Aufgabe erfüllt hat, der Prozess der Datenübertragung und der Nachbearbeitung auf einem Host-Gerät erhebliche Verzögerungen verursachen kann. Diese Hin- und Her-Datenübertragung zwischen dem Gerät und dem Host führt zu Latenzzeiten, die ein großes Hindernis für die Erzielung der besten Leistung darstellen können.

‍

Um dieses Problem anzugehen, betonte Amir, wie wichtig es ist, das gesamte End-to-End-System zu betrachten und sich nicht nur auf das KI-Modell zu konzentrieren. Beim IMX500-Sensor entdeckten sie, dass die Nachbearbeitung der Hauptengpass war, der alles verlangsamte. Er teilte mit, dass der eigentliche Durchbruch in der Freischaltung der Nicht-Maximum-Unterdrückung (NMS) auf dem Chip lag. 

Es ermöglichte die Nachbearbeitung direkt auf dem Sensor und machte die Übertragung großer Datenmengen an ein Host-Gerät überflüssig. Durch die direkte Ausführung von NMS auf dem IMX500 durchbrach Sony das, was Amir als "gläserne Decke der Nachbearbeitung" bezeichnete, und erzielte eine weitaus bessere Leistung und geringere Latenzzeiten.

‍

Als nächstes werden wir uns ansehen, wie diese Innovation den YOLO geholfen hat, insbesondere YOLOv8 Nano, effizienter auf Edge-Geräten laufen und neue Möglichkeiten für Echtzeit-KI-Verarbeitung auf kleinerer, ressourcenbeschränkter Hardware schaffen.

YOLOv8 erreichen mit Sonys IMX500 einen 4-fachen Geschwindigkeitsschub

Zum Abschluss des Vortrags demonstrierte Amir, wie sie die Leistung des YOLOv8 Nano Modells vervierfachen konnten, indem sie NMS on edge ausführten. Er zeigte dies auf einem Raspberry Pi 5, der mit dem IMX500 AI-Sensor integriert war. Amir verglich die Leistung, wenn die Nachbearbeitung auf einem Host-Gerät und auf dem IMX500-Chip durchgeführt wurde. 

Die Ergebnisse zeigten deutlich eine deutliche Verbesserung der Bilder pro Sekunde (FPS) und der Gesamteffizienz, wenn die Verarbeitung On-Chip erfolgte. Die Optimierung machte die Objekterkennung schneller und flüssiger und demonstrierte auch die Praktikabilität der Echtzeit-KI-Verarbeitung auf kleineren, ressourcenbeschränkten Geräten wie dem Raspberry Pi.

Wesentliche Erkenntnisse

Der IMX500-Sensor von Sony, die AITRIOS-Plattform und dieYOLO von Ultralytics setzen neue Maßstäbe für die KI-Entwicklung. Die KI-Verarbeitung auf dem Chip reduziert die Datenübertragung und die Latenzzeit und verbessert gleichzeitig den Datenschutz, die Sicherheit und die Effizienz. Da der Fokus auf dem gesamten System und nicht nur auf dem KI-Modell liegt, machen diese Innovationen die Edge-KI auch für Entwickler und Personen ohne tiefgreifende KI-Kenntnisse zugänglicher. Die Weiterentwicklung der Edge-KI-Technologie wird wahrscheinlich intelligentere Geräte, schnellere Entscheidungen und einen stärkeren Schutz der Privatsphäre in einer Vielzahl von Branchen und Anwendungen ermöglichen.

Bleiben Sie mit unserer Community in Verbindung, um mehr über KI zu erfahren! Besuchen Sie unser GitHub-Repository, um zu entdecken, wie wir KI nutzen können, um innovative Lösungen in verschiedenen Branchen wie Landwirtschaft und Fertigung zu entwickeln. 🚀