Sonys MCT: KI-Forschung mit Echtzeit-Edge-Anwendungen verbinden

Bei der YOLO Vision 2023 (YV23) auf dem Google for Startups Campus in Madrid sprach eine Reihe von Referentinnen und Referenten aus der KI-Community. Dazu gehörte Amir Servi, Product Manager für Edge Deep Learning bei Sony, der einen Vortrag über die Überbrückung der Lücke zwischen KI-Forschung und Echtzeitanwendungen am Edge hielt und dabei Sonys Model Compression Toolkit (MCT) vorstellte.

Amir Servi: Forschung und KI in Echtzeit zusammenführen#

Amirs Vortrag konzentrierte sich auf Modellkomprimierungs- und Quantisierungstechniken, die für eine effiziente Bereitstellung von Edge-KI ausgelegt sind.

Die Herausforderungen von Edge AI mit MCT bewältigen#

Amir sprach über die Herausforderungen bei der Bereitstellung von KI-Modellen auf Edge-Geräten und hob dabei die Einschränkungen durch begrenzte Ressourcen und Hardware hervor. In seinem Vortrag stellte er Sonys Model Compression Toolkit (MCT) vor, ein Open-Source-Tool für PyTorch- und TensorFlow-Modelle. MCT ermöglicht auch den Sony IMX500-Export von Ultralytics.

Das Potenzial von MCT ausschöpfen#

Amir erläuterte die wichtigsten Funktionen von MCT – von hardwarebewusster Quantisierung über modernste Algorithmen bis hin zur automatisierten Parametersuche. Dadurch ist das Toolkit vielseitig für die Bereitstellung von KI in realen Anwendungen einsetzbar.

Abb. 1. Amir Servi bei seinem Vortrag auf der YOLO Vision 2023 auf dem Google for Startups Campus in Madrid.

Quantisierungstechniken verständlich erklärt: Die Ergebnisse sprechen für sich#

Amir erklärte Quantisierungstechniken wie die Quantisierung nach dem Training (PTQ) und GPTQ und stellte deren Ergebnisse vor. Dazu gehörten eine hohe Genauigkeit bei PTQ mit gemischter Genauigkeit und hohe Komprimierungsraten für das Modell Ultralytics YOLOv8.

Zum Abschluss#

Amirs Vortrag zeigte, wie Tools wie MCT dabei helfen, die Lücke zwischen KI-Forschung und Echtzeitimplementierung zu schließen – insbesondere bei YOLO-Modellen, die auf Edge-Geräten laufen.

Möchtest du mehr erfahren? Sieh dir den vollständigen Vortrag über Sony MCT an.