Ultralytics YOLO11 nahtlos mit der MNN-Integration bereitstellen

Heutzutage gehen KI-Innovationen über entfernte Serverumgebungen hinaus. KI-Lösungen werden in Edge-Geräte wie Sensoren und Smartphones integriert. Dank dieses technologischen Wandels können Daten nun direkt dort verarbeitet werden, wo sie entstehen. Das ermöglicht schnellere Reaktionen, einen besseren Datenschutz und eine geringere Abhängigkeit von einer ständigen Cloud-Verbindung.

Daher gewinnt Edge-KI in vielen Branchen zunehmend an Bedeutung. Der Markt für Edge-KI-Software soll bis 2031 ein Volumen von 8,88 Milliarden US-Dollar erreichen, da immer mehr Systeme auf eine schnellere und lokalere Verarbeitung setzen.

Insbesondere Computer Vision, ein KI-Bereich, der sich auf das Verständnis von Bildern und Videos konzentriert, wird am Edge schnell eingesetzt. Von der Zählung von Lebensmitteln während der Verpackung bis zur Unterstützung von Fahrzeugen bei der Erkennung von Fußgängern ermöglicht Computer Vision unzählige praktische Anwendungen in verschiedenen Branchen.

Das wird durch Computer-Vision-Modelle ermöglicht. Ultralytics YOLO11 ist beispielsweise ein Modell, das verschiedene Computer-Vision-Aufgaben wie Objekterkennung, Instanzsegmentierung, Objektverfolgung und Posenschätzung unterstützt. Es wurde für hohe Geschwindigkeit und Effizienz entwickelt und liefert auch auf Geräten mit begrenzten Hardwareressourcen gute Ergebnisse.

Abb. 1: Erkennung und Verfolgung von Lebensmitteln während der Verpackung mit Ultralytics YOLO11 (Quelle).

Zusätzlich zur Eignung für die Bereitstellung am Edge kann YOLO11 dank verschiedener von Ultralytics unterstützter Integrationen in verschiedene Formate exportiert werden, die für unterschiedliche Hardwareumgebungen geeignet sind.

Eine der effizientesten Optionen ist MNN (Mobiles neuronales Netzwerk), eine leichtgewichtige Inferenz-Engine für Geräte mit begrenzten Ressourcen. Durch den Export von Ultralytics YOLO11 nach MNN kann das Modell direkt auf Mobiltelefonen, eingebetteten Systemen und anderen Edge-Plattformen ausgeführt werden, auf denen eine schnelle Verarbeitung auf dem Gerät unerlässlich ist.

In diesem Artikel untersuchen wir, wie die MNN-Integration funktioniert, stellen gängige Anwendungsfälle vor und zeigen dir, wie du mit Inferenzläufen unter Verwendung eines exportierten Ultralytics-YOLO11-Modells beginnst. Legen wir los!

Ein Überblick über MNN: Ein Deep-Learning-Framework#

Computer-Vision-Modelle auf kleineren Geräten wie Mobiltelefonen, Industriesensoren und tragbaren Systemen auszuführen, ist nicht immer unkompliziert. Diese Geräte verfügen häufig über begrenzten Speicher, langsamere Prozessoren und strenge Energiegrenzen.

Das Mobile Neural Network, kurz MNN, ist eine von Alibaba entwickelte, leichtgewichtige und leistungsstarke Inferenz-Engine. Sie ermöglicht die effiziente Ausführung von KI-Modellen auf Hardware mit begrenzten Ressourcen und bewahrt dabei die Echtzeitleistung. MNN unterstützt zahlreiche Plattformen, darunter Android, iOS und Linux, und funktioniert auf verschiedenen Hardwaretypen wie Zentralprozessoren (CPUs) und Grafikprozessoren (GPUs).

Abb. 2: Ein Blick auf das MNN-Framework (Quelle).

Die von Ultralytics unterstützte MNN-Integration ermöglicht den einfachen Export von YOLO11-Modellen in das MNN-Format. Vereinfacht gesagt bedeutet das, dass die Modelle vom YOLO-Format in das MNN-Format konvertiert werden können.

Nach der Konvertierung können sie auf Geräten bereitgestellt werden, die das MNN-Framework unterstützen, und dort effizient auf dem Gerät Inferenz ausführen. Ein wichtiger Vorteil des MNN-Formats besteht darin, dass es die Bereitstellung von Ultralytics YOLO11 in Szenarien vereinfacht, in denen Größe, Geschwindigkeit und Ressourceneffizienz entscheidend sind.

Wichtige Funktionen des MNN-Inferenz-Backends#

Bevor wir uns ansehen, wie du die MNN-Integration verwendest, werfen wir einen Blick darauf, warum das MNN-Framework eine gute Wahl für die Ausführung von KI-Modellen auf realen Geräten ist. Es wurde für die besonderen Einschränkungen von Edge-Umgebungen entwickelt und liefert dennoch eine schnelle und zuverlässige Leistung.

Interessanterweise wird MNN intern bei Alibaba in mehr als 30 Anwendungen eingesetzt, darunter Taobao, Tmall, Youku, DingTalk und Xianyu. Das Anwendungsspektrum reicht von Live-Videos und Kurzvideoinhalten über die Bildersuche bis hin zu Sicherheitsprüfungen auf dem Gerät. MNN unterstützt Bereitstellungen in großem Maßstab und führt in Produktionsumgebungen täglich Millionen von Inferenzen aus.

Hier sind einige der wichtigsten Funktionen des MNN-Frameworks:

• Automatische Backend-Auswahl: MNN kann abhängig von der verwendeten Hardware automatisch das am besten geeignete Ausführungs-Backend auswählen, beispielsweise CPU oder GPU.
• Ausführung mit mehreren Threads: MNN unterstützt Multithreading und kann dadurch Mehrkernprozessoren für schnellere Inferenzen vollständig nutzen.
• Unterstützung der Modellquantisierung: Mit der FP16- oder INT8-Quantisierung kannst du die Modellgröße erheblich reduzieren und dadurch die Inferenzgeschwindigkeit verbessern sowie weniger Speicher verwenden.
• Leichtgewichtig und schnell: MNN hat einen sehr geringen Ressourcenbedarf. Die Kernbibliothek ist unter Android etwa 400 KB und unter iOS ungefähr 5 MB groß, wodurch sie sich ideal für mobile und eingebettete Geräte eignet.

Funktionsweise der MNN-Integration#

Als Nächstes zeigen wir dir, wie du Ultralytics-YOLO11-Modelle in das MNN-Format exportierst.

Im ersten Schritt installierst du das Ultralytics-Python-Paket, das alles Notwendige für den Export von YOLO11-Modellen in das MNN-Format bereitstellt. Führe dazu in deinem Terminal oder an der Eingabeaufforderung den Befehl "pip install ultralytics" aus. Wenn du ein Jupyter Notebook oder Google Colab verwendest, setze ein Ausrufezeichen vor den Befehl.

Falls während der Installation Probleme auftreten, findest du im Leitfaden zu häufigen Problemen Tipps zur Fehlerbehebung.

Sobald deine Umgebung eingerichtet ist, kannst du ein vortrainiertes YOLO11-Modell wie "yolo11n.pt" laden und es wie im folgenden Codeausschnitt in das MNN-Format exportieren. Wenn du dein eigenes benutzerdefiniertes YOLO11-Modell trainiert hast, kannst du es exportieren, indem du einfach den Dateinamen durch den Pfad zu deinem Modell ersetzt.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="mnn")

Nach der Konvertierung deines Modells in MNN kannst du es je nach den Anforderungen deiner Anwendung auf verschiedenen mobilen und eingebetteten Plattformen einsetzen.

Angenommen, du möchtest das exportierte Modell anhand eines Verkehrsvideos testen. In diesem Fall kannst du das Ultralytics-YOLO11-Modell im MNN-Format laden, um Objekte wie Fahrzeuge, Fußgänger und Verkehrsschilder direkt auf dem Gerät zu erkennen, wie im folgenden Beispiel gezeigt.

mnn_model = YOLO("yolo11n.mnn")
results = mnn_model("https://videos.pexels.com/video-files/27783817/12223745_1920_1080_24fps.mp4", save=True)

Nach Abschluss der Inferenz wird das Ausgabevideo mit den erkannten Objekten automatisch im Ordner 'runs/detect/predict' gespeichert. Wenn du außerdem Inferenz direkt mit dem MNN-Python-Paket ausführen möchtest, findest du in der offiziellen Ultralytics-Dokumentation weitere Informationen und Beispiele.

Abb. 3: Verkehrsanalyse mit einem in das MNN-Format exportierten Ultralytics-YOLO11-Modell. Bild vom Autor.

Anwendungsfälle für die Bereitstellung von Edge-KI-Modellen mit Ultralytics YOLO11 und MNN#

Die Bereitstellung von Ultralytics YOLO11 mit MNN ermöglicht schnelle und effiziente Computer-Vision-Aufgaben wie die Objekterkennung in Umgebungen, in denen eine cloudbasierte Verarbeitung nicht praktikabel oder möglich ist. Sehen wir uns an, wie diese Integration in realen Szenarien besonders nützlich sein kann.

Mobile Edge-KI zur Erkennung von Pflanzenkrankheiten#

Apps zur Erkennung von Pflanzenkrankheiten, die Bildklassifizierung verwenden, werden bei Gärtnern, Forschern und Naturfreunden immer beliebter. Mit nur einem Foto können Nutzer schnell frühe Anzeichen einer Krankheit erkennen, etwa Blattflecken oder Verfärbungen. Da diese Apps häufig im Freien verwendet werden, wo der Internetzugang eingeschränkt oder nicht verfügbar sein kann, ist die Verarbeitung in der Cloud möglicherweise unzuverlässig.

Nach dem Training kann ein Ultralytics-YOLO11-Modell in das MNN-Format exportiert und direkt auf mobilen Geräten ausgeführt werden. Das Modell kann dann Pflanzenarten klassifizieren und sichtbare Krankheitssymptome lokal erkennen, ohne Daten an einen Server zu senden.

Abb. 4: Beispiel für die Verwendung von YOLO11 zur Erkennung von Rost (einer Pflanzenkrankheit) auf einem Blatt (Quelle).

Effiziente Inferenzen direkt auf dem Gerät in der Fertigung#

Eine präzise Paketverfolgung ist in ausgelasteten Produktionslinien von Fertigungsanlagen unerlässlich. Ultralytics YOLO11 kann jedes Objekt verfolgen und zählen, während es wichtige Kontrollpunkte passiert, die Zählerstände in Echtzeit aktualisieren und Abweichungen kennzeichnen. Das hilft, nicht erfasste oder vermisste Lieferungen zu reduzieren und reibungslosere sowie zuverlässigere Abläufe zu gewährleisten.

Abb. 5: Verfolgung und Zählung von Paketen mit YOLO11 (Quelle).

Die MNN-Integration kann in diesem Zusammenhang besonders wirkungsvoll sein. Sobald das Ultralytics-YOLO11-Modell in das MNN-Format exportiert wurde, kann es direkt auf kompakten Geräten mit geringem Energieverbrauch ausgeführt werden, die entlang des Förderbands installiert sind.

Da die gesamte Verarbeitung lokal erfolgt, kann das System sofortiges Feedback liefern und benötigt keine Internetverbindung. Das gewährleistet eine schnelle und zuverlässige Leistung in der Produktionshalle, hält die Produktion effizient am Laufen und bewahrt gleichzeitig eine hohe Genauigkeit und Kontrolle.

Vorteile des Exports von Ultralytics YOLO11 in das MNN-Modellformat#

Hier sind einige wichtige Vorteile der von Ultralytics bereitgestellten MNN-Integration:

• Schnellere Reaktionszeiten: Da die Inferenz auf dem Gerät ausgeführt wird, erfolgen Vorhersagen in Echtzeit mit minimaler Latenz.
• Verbesserter Datenschutz: Die Daten bleiben auf dem Gerät, wodurch weniger sensible Bilder oder Videos an die Cloud gesendet werden müssen.
• Open Source und aktiv gepflegt: MNN wird von Alibaba unterstützt und von einer aktiven Community weiterentwickelt. Dadurch ist es zuverlässig und wird regelmäßig um Leistungsverbesserungen ergänzt.

Faktoren, die bei der Verwendung des MNN-Frameworks zu berücksichtigen sind#

Bevor du MNN als Bereitstellungs-Framework auswählst, solltest du außerdem prüfen, wie gut es zu den Anforderungen deines Projekts, deinen Zielplattformen und den technischen Einschränkungen passt. Hier sind einige wichtige Faktoren, die du berücksichtigen solltest:

• Laufende Kompatibilität: Aktualisierungen des Frameworks oder Änderungen an deinen Zielplattformen können erneute Tests oder Anpassungen erfordern, damit alles reibungslos funktioniert.
• Weniger Werkzeuge zur Fehlersuche: Im Vergleich zu größeren Frameworks bietet MNN weniger Möglichkeiten zum Debuggen und zur Untersuchung des Modellverhaltens, was die Fehlerbehebung erschweren kann.
• Die Leistung hängt von der Hardware ab: Geschwindigkeit und Effizienz deines Modells variieren je nach Gerät. Teste deine Zielhardware, um sicherzustellen, dass sie deine Leistungsziele erfüllt.

Wichtige Erkenntnisse#

Die Unterstützung der MNN-Integration durch Ultralytics erleichtert den Export von YOLO11-Modellen für den Einsatz auf mobilen und eingebetteten Geräten. Sie ist eine praktische Option für Anwendungen, die eine schnelle und zuverlässige Erkennung ohne Cloud-Zugriff oder ständige Verbindung benötigen.

Diese Konfiguration vereinfacht die Bereitstellung, erhält dabei die Leistung und hält den Ressourcenbedarf gering. Ganz gleich, ob du Smart-Home-Systeme, Werkzeuge für den Außeneinsatz oder kompakte Industriegeräte entwickelst: Der Export von Ultralytics YOLO11 nach MNN bietet eine flexible und effiziente Möglichkeit, Computer-Vision-Aufgaben direkt auf Edge-Geräten auszuführen.

Werde Teil unserer wachsenden Community! Sieh dir unser GitHub-Repository an, um tiefer in die Welt der KI einzutauchen. Du möchtest mit deinen Computer-Vision-Projekten beginnen? Entdecke unsere Lizenzoptionen. Erfahre auf unseren Lösungsseiten mehr über KI im Gesundheitswesen und Computer Vision im Einzelhandel!