Edge AI ermöglicht es Modellen der künstlichen Intelligenz (KI), direkt auf Geräten wie Smartphones, Kameras und Drohnen zu arbeiten. Ihr Hauptvorteil ist, dass sie schnellere Echtzeit-Entscheidungen unterstützt, ohne auf die Cloud angewiesen zu sein. Tatsächlich zeigen Studien, dass der Einsatz von KI auf Edge-Plattformen die betriebliche Effizienz um bis zu 40 % steigern kann. 

Jüngste Fortschritte im Bereich Edge AI, insbesondere in der Computer Vision, machten diese zu einem zentralen Thema auf der YOLO Vision 2024 (YV24), dem jährlichen Hybrid-Event von Ultralytics, das KI-Enthusiasten und Experten zusammenbringt, um die neuesten Entwicklungen im Bereich Vision AI zu erkunden. Einer der Höhepunkte der Veranstaltung war die Keynote-Präsentation von Sony, in der das Unternehmen seine neuesten KI-Hardware- und Softwarelösungen vorstellte. Der IMX500-Sensor und die AITRIOS-Plattform wurden vorgestellt, und Sony demonstrierte, wie diese Innovationen die Bereitstellung von Ultralytics YOLO-Modellen wie Ultralytics YOLO11 und Ultralytics YOLOv8 am Edge vereinfachen und effizienter gestalten.

Die Sitzung wurde von Wei Tang, einem Business Development Manager mit Schwerpunkt auf Imaging-Lösungen von Sony, und Amir Servi, einem Edge Deep Learning Product Manager mit Expertise im Bereich Deployment von Deep-Learning-Modellen auf Edge-Geräten, geleitet. 

In diesem Artikel werden wir Sonys Vortrag auf der YV24 noch einmal aufgreifen und untersuchen, wie der IMX500-Sensor und die AITRIOS-Plattform den Einsatz von YOLO-Modellen für eine schnellere Echtzeit-KI-Verarbeitung am Edge optimieren. Los geht's!

Sonys Vision: Demokratisierung von KI auf Edge-Geräten

Wei Tang eröffnete die Sitzung mit einem Vortrag über das Ziel von Sony, Edge-KI so zugänglich zu machen, wie sie es vor Jahren mit der Fotografie getan haben. Sie betonte, dass sich Sony nun darauf konzentriert, fortschrittliche Vision AI durch Edge Computing mehr Menschen zugänglich zu machen. Einer der treibenden Faktoren dafür ist der positive Einfluss, den Edge-KI auf die Umwelt haben kann. Durch die Verarbeitung von Daten direkt auf Geräten, anstatt sich auf massive Rechenzentren zu verlassen, trägt Edge Computing dazu bei, den Energieverbrauch zu senken und die Kohlenstoffemissionen zu reduzieren. Es ist ein intelligenterer, umweltfreundlicherer Ansatz, der perfekt zu Sonys Engagement passt, Technologien zu entwickeln, die nicht nur besser funktionieren, sondern auch dazu beitragen, eine nachhaltigere Zukunft zu schaffen.

Wei erklärte weiter, wie Sony Semiconductor Solutions, der Geschäftsbereich von Sony, der sich auf Bildgebungs- und Sensortechnologien spezialisiert hat, fortschrittliche Bildsensoren entwickelt. Diese Sensoren werden in einer Vielzahl von Geräten eingesetzt und wandeln Licht in elektronische Signale um, um Bilder aufzunehmen. Mit über 1,2 Milliarden ausgelieferten Sensoren pro Jahr sind sie in fast der Hälfte aller Mobiltelefone der Welt zu finden, was Sony zu einem wichtigen Akteur in der Bildgebungs-Industrie macht. 

‍

Aufbauend auf dieser Expertise geht Sony nun noch einen Schritt weiter und wandelt diese Sensoren von Bilderfassungsgeräten in intelligente Werkzeuge um, die Daten in Echtzeit verarbeiten können und so KI-gestützte Erkenntnisse direkt auf den Geräten ermöglichen. Bevor wir auf die Hardware- und Softwarelösungen eingehen, die Sony zur Unterstützung dieser Verlagerung einsetzt, wollen wir die Edge-KI-Herausforderungen verstehen, die diese Innovationen lösen sollen.

Herausforderungen im Zusammenhang mit der KI-Bildverarbeitung auf Edge-Geräten

Die Entwicklung von Edge-KI-Lösungen bringt einige wichtige Herausforderungen mit sich, insbesondere bei der Arbeit mit Geräten wie Kameras und Sensoren. Viele dieser Geräte haben eine begrenzte Leistung und Rechenkapazität, was es schwierig macht, fortschrittliche KI-Modelle effizient auszuführen.

Hier sind einige der anderen wesentlichen Einschränkungen:

• Softwarekomplexität: Die Anpassung von KI-Modellen für die Verwendung auf verschiedenen Edge-Geräten mit unterschiedlichen Hardwarekonfigurationen kann komplex sein und Anpassungen und Optimierungen erfordern.
  ‍
• Engpässe bei der Nachbearbeitung: Oftmals entsteht eine Verzögerung, wenn große Datenmengen vom Gerät zur Nachbearbeitung an den Host übertragen werden. Dies beansprucht oft mehr Zeit als die eigentliche KI-Modellinferenz.
  ‍
• Datenexplosion: Da viele IoT-Geräte ständig Daten generieren, kann die Menge der Daten, die lokal verarbeitet werden müssen, überwältigend sein, was Edge-Geräte zusätzlich belastet.

Den intelligenten Visionssensor Sony IMX500 kennenlernen

Der intelligente Vision-Sensor Sony IMX500 ist eine bahnbrechende Hardware für die Edge-AI-Verarbeitung. Es ist der weltweit erste intelligente Vision-Sensor mit On-Chip-KI-Funktionen. Dieser Sensor hilft, viele Herausforderungen im Bereich Edge AI zu bewältigen, darunter Engpässe bei der Datenverarbeitung, Datenschutzbedenken und Leistungsbeschränkungen.

Während andere Sensoren lediglich Bilder und Frames weiterleiten, erzählt der IMX500 eine ganze Geschichte. Er verarbeitet Daten direkt auf dem Sensor, sodass Geräte Erkenntnisse in Echtzeit generieren können. Während der Sitzung sagte Wei Tang: "Durch die Nutzung unserer fortschrittlichen Bildsensortechnologie wollen wir eine neue Generation von Anwendungen ermöglichen, die das tägliche Leben verbessern können." Der IMX500 wurde entwickelt, um dieses Ziel zu erreichen und die Art und Weise zu verändern, wie Geräte Daten direkt auf dem Sensor verarbeiten, ohne sie zur Verarbeitung in die Cloud senden zu müssen.

Hier sind einige seiner Hauptmerkmale:

• Metadatenausgabe: Anstatt vollständige Bilder zu senden, werden Metadaten ausgegeben, wodurch die Datengröße erheblich reduziert wird, was die Bandbreitennutzung und die Kosten senkt.
  ‍
• Verbesserter Datenschutz: Durch die Verarbeitung von Daten auf dem Gerät verbessert der IMX500 den Datenschutz, insbesondere in Situationen, in denen sensible Informationen beteiligt sind, wie z. B. bei Computer-Vision-Aufgaben im Zusammenhang mit Menschen wie der Personenzählung.
  ‍
• Echtzeitverarbeitung: Die Fähigkeit des Sensors, Daten schnell zu verarbeiten, bedeutet, dass er eine schnelle Echtzeit-Entscheidungsfindung unterstützt, die Edge-KI-Anwendungen wie autonome Systeme ermöglicht.

Der IMX500 ist nicht nur ein Kamerasensor – er ist ein leistungsstarkes Erfassungswerkzeug, das die Art und Weise verändert, wie Geräte ihre Umwelt wahrnehmen und mit ihr interagieren. Durch die Einbettung von KI direkt in den Sensor macht Sony Edge-KI für Branchen wie die Automobilindustrie, das Gesundheitswesen und Smart Cities zugänglicher. In den folgenden Abschnitten werden wir näher darauf eingehen, wie der IMX500 mit Ultralytics YOLO-Modellen zusammenarbeitet, um die Objekterkennung und Datenverarbeitung auf Edge-Geräten zu verbessern.

‍

Sonys AITRIOS-Plattform: Vereinfachung von Edge AI

Nach der Vorstellung des IMX500-Sensors erklärte Wei Tang, dass Hardware zwar entscheidend ist, aber allein nicht ausreicht, um den gesamten Umfang der Herausforderungen bei der KI-Bereitstellung am Edge zu bewältigen. Sie sprach darüber, dass die Integration von KI auf Geräten wie Kameras und Sensoren mehr als nur fortschrittliche Hardware erfordert - sie benötigt intelligente Software, um sie zu verwalten. Hier kommt die AITRIOS-Plattform von Sony ins Spiel, die eine zuverlässige Softwarelösung bietet, die die Bereitstellung von KI auf Edge-Geräten vereinfachen und effizienter gestalten soll.

AITRIOS fungiert als Brücke zwischen komplexen KI-Modellen und den Beschränkungen von Edge-Geräten. Es bietet Entwicklern eine Reihe von Tools für die schnelle Bereitstellung vortrainierter KI-Modelle. Noch wichtiger ist jedoch, dass es ein kontinuierliches Retraining unterstützt, sodass sich KI-Modelle an Veränderungen in der realen Welt anpassen können. 

Wei hob auch hervor, wie AITRIOS den Prozess für diejenigen vereinfacht, die keine tiefgreifenden KI-Kenntnisse besitzen, und bietet Flexibilität bei der Anpassung von KI-Modellen für spezifische Edge-KI-Anwendungsfälle. Es werden auch häufige Herausforderungen wie Speicherbeschränkungen und Performance-Einbußen angegangen, wodurch es einfacher wird, KI in kleinere Geräte zu integrieren, ohne Abstriche bei Genauigkeit oder Geschwindigkeit zu machen. 

‍

Optimierung von YOLO-Modellen auf dem IMX500

Im zweiten Teil des Vortrags wurde das Mikrofon an Amir weitergegeben, der in die technische Seite der Optimierung von YOLO-Modellen auf dem IMX500-Sensor durch Sony eintauchte. 

Amir begann mit den Worten: "YOLO-Modelle sind Edge-fähig und dank Glenn und dem Team recht einfach zu optimieren. Ich werde Sie davon überzeugen, keine Sorge." Amir erklärte dann, dass, obwohl der Fokus in der Regel auf die Optimierung des KI-Modells selbst gelegt wird, dieser Ansatz oft ein entscheidendes Problem übersieht: Engpässe bei der Nachbearbeitung.

Amir wies darauf hin, dass in vielen Fällen, sobald das KI-Modell seine Aufgabe erfüllt hat, der Prozess der Datenübertragung und der Nachbearbeitung auf einem Host-Gerät erhebliche Verzögerungen verursachen kann. Diese Hin- und Her-Datenübertragung zwischen dem Gerät und dem Host führt zu Latenzzeiten, die ein großes Hindernis für die Erzielung der besten Leistung darstellen können.

‍

Um dies anzugehen, betonte Amir, wie wichtig es sei, das gesamte End-to-End-System zu betrachten und sich nicht nur auf das KI-Modell zu konzentrieren. Mit dem IMX500-Sensor entdeckten sie, dass die Nachbearbeitung der Hauptengpass war, der alles verlangsamte. Er teilte mit, dass der eigentliche Durchbruch die Freischaltung der Non-Maximum Suppression (NMS) auf dem Chip war. 

Es ermöglichte die Nachbearbeitung direkt auf dem Sensor, wodurch die Notwendigkeit entfiel, große Datenmengen an ein Host-Gerät zu übertragen. Durch die Ausführung von NMS direkt auf dem IMX500 durchbrach Sony die von Amir als "Post-Processing-Glastdecke" bezeichnete Grenze und erreichte eine weitaus bessere Leistung und Latenzreduzierung.

‍

Als Nächstes werden wir uns ansehen, wie diese Innovation YOLO-Modellen, insbesondere YOLOv8 Nano, geholfen hat, effizienter auf Edge-Geräten zu laufen, wodurch neue Möglichkeiten für die Echtzeit-KI-Verarbeitung auf kleinerer, ressourcenbeschränkter Hardware geschaffen wurden.

YOLOv8 Modelle erreichen 4x Geschwindigkeitssteigerung mit Sonys IMX500

Amir beendete den Vortrag mit einem Paukenschlag und demonstrierte, wie sie die Leistung des YOLOv8 Nano-Modells durch die Ausführung von NMS auf Edge vervierfachen konnten. Er präsentierte dies auf einem Raspberry Pi 5, der mit dem IMX500 AI-Sensor integriert war. Amir verglich die Leistung, wenn die Nachbearbeitung auf einem Host-Gerät im Vergleich zum IMX500-Chip erfolgte. 

Die Ergebnisse zeigten deutlich eine deutliche Verbesserung der Bilder pro Sekunde (FPS) und der Gesamteffizienz, wenn die Verarbeitung On-Chip erfolgte. Die Optimierung machte die Objekterkennung schneller und flüssiger und demonstrierte auch die Praktikabilität der Echtzeit-KI-Verarbeitung auf kleineren, ressourcenbeschränkten Geräten wie dem Raspberry Pi.

Wesentliche Erkenntnisse

Der IMX500-Sensor von Sony, die AITRIOS-Plattform und die Ultralytics YOLO-Modelle gestalten die Edge-AI-Entwicklung neu. Die On-Chip-KI-Verarbeitung reduziert Datentransfer und Latenz, während sie gleichzeitig Datenschutz, Sicherheit und Effizienz erhöht. Durch die Konzentration auf das gesamte System und nicht nur auf das KI-Modell machen diese Innovationen Edge AI für Entwickler und Personen ohne tiefgreifende KI-Expertise zugänglicher. Da die Edge-AI-Technologie immer weiter fortschreitet, wird sie wahrscheinlich intelligentere Geräte, schnellere Entscheidungsfindung und einen stärkeren Schutz der Privatsphäre in einer Vielzahl von Branchen und Anwendungen ermöglichen.

Bleiben Sie mit unserer Community in Verbindung, um mehr über KI zu erfahren! Besuchen Sie unser GitHub-Repository, um zu entdecken, wie wir KI nutzen können, um innovative Lösungen in verschiedenen Branchen wie Landwirtschaft und Fertigung zu entwickeln. 🚀