Deploye Ultralytics YOLO11 nahtlos mit der MNN-Integration

Heutzutage haben sich KI-Innovationen über entfernte Serverumgebungen hinaus ausgeweitet. KI-Lösungen werden zunehmend in Edge-Geräte wie Sensoren und Smartphones integriert. Dank dieser technologischen Verlagerung können Daten nun direkt dort verarbeitet werden, wo sie entstehen, was schnellere Reaktionen, verbesserte Privatsphäre und eine geringere Abhängigkeit von einer ständigen Cloud-Verbindung ermöglicht.

Dadurch gewinnt edge AI in vielen Branchen zunehmend an Bedeutung. Der edge AI software market wird voraussichtlich bis 2031 ein Volumen von 8,88 Milliarden US-Dollar erreichen, da immer mehr Systeme auf eine schnellere und lokalere Verarbeitung umstellen.

Insbesondere computer vision, ein Zweig der KI, der sich auf das Verstehen von Bildern und Videos konzentriert, setzt sich am Edge rasant durch. Von der Zählung von Lebensmitteln beim Verpacken bis hin zur Erkennung von Fußgängern durch Fahrzeuge unterstützt computer vision unzählige praktische Anwendungen in verschiedenen Branchen.

Dies wird durch computer vision-Modelle ermöglicht. Beispielsweise ist Ultralytics YOLO11 ein Modell, das verschiedene Vision-KI-Aufgaben wie Objekterkennung, Instanzsegmentierung, Objektverfolgung und Posenschätzung unterstützt. Es ist auf Schnelligkeit und Effizienz ausgelegt und liefert auf Geräten mit begrenzten Hardware-Ressourcen eine gute Leistung.

Abb. 1. Erkennung und Verfolgung von verpackten Lebensmitteln mit Ultralytics YOLO11 (Quelle).

Zusätzlich zu seiner Eignung für das Edge-Deployment kann YOLO11 durch verschiedene von Ultralytics unterstützte integrations in verschiedene Formate exportiert werden, die für unterschiedliche Hardware-Umgebungen geeignet sind.

Eine der effizientesten Optionen ist MNN, eine leichte Inferenz-Engine, die für ressourcenarme Geräte entwickelt wurde. Das Exportieren von Ultralytics YOLO11 nach MNN ermöglicht die direkte Ausführung auf Mobiltelefonen, eingebetteten Systemen und anderen Edge-Plattformen, bei denen eine schnelle Verarbeitung direkt auf dem Gerät unerlässlich ist.

In diesem Artikel untersuchen wir, wie die MNN-Integration funktioniert, zeigen gängige Anwendungsfälle auf und führen dich Schritt für Schritt durch die Ausführung von Inferenz mit einem exportierten Ultralytics YOLO11-Modell. Fangen wir an!

Ein Überblick über MNN: Ein Deep Learning Framework#

Das Ausführen von computer vision models auf kleineren Geräten wie Mobiltelefonen, Industriessensoren und tragbaren Systemen ist nicht immer einfach. Diese Geräte verfügen oft über begrenzten Speicher, langsamere Prozessoren und strenge Leistungsbeschränkungen.

Das Mobile Neural Network, kurz MNN, ist eine leichtgewichtige und leistungsstarke Inferenz-Engine, die von Alibaba entwickelt wurde, um KI-Modelle effizient auf Hardware mit geringen Ressourcen auszuführen und dabei Echtzeitleistung beizubehalten. MNN unterstützt eine Vielzahl von Plattformen, einschließlich Android, iOS und Linux, und arbeitet über eine Reihe von Hardwaretypen wie Central Processing Units (CPUs) und Graphics Processing Units (GPUs) hinweg.

Abb. 2. Ein Blick auf das MNN-Framework (Source).

Die von Ultralytics unterstützte MNN-Integration ermöglicht es, YOLO11-Modelle einfach in das MNN-Format zu exportieren. Einfach ausgedrückt bedeutet dies, dass die Modelle vom YOLO-Format in MNN konvertiert werden können.

Nach der Konvertierung können sie auf Geräten bereitgestellt werden, die das MNN-Framework für eine effiziente On-Device-Inferenz unterstützen. Ein Hauptvorteil der Verwendung des MNN-Formats besteht darin, dass es die Bereitstellung von Ultralytics YOLO11 in Szenarien vereinfacht, in denen Größe, Geschwindigkeit und Ressourceneffizienz entscheidend sind.

Hauptmerkmale des MNN-Inferenz-Backends#

Bevor wir uns damit befassen, wie man die MNN-Integration nutzt, werfen wir einen Blick darauf, was das MNN-Framework zu einer großartigen Wahl für die Ausführung von KI-Modellen auf realen Geräten macht. Es ist darauf ausgelegt, die einzigartigen Einschränkungen von Edge-Umgebungen zu bewältigen und gleichzeitig eine schnelle und zuverlässige Leistung zu liefern.

Interessanterweise wird MNN intern bei Alibaba in über 30 Anwendungen verwendet, darunter Taobao, Tmall, Youku, DingTalk und Xianyu, in einer Vielzahl von Szenarien wie Live-Video, Kurzformat-Inhalten, Bildsuche und On-Device-Sicherheitsprüfungen. Es unterstützt die Bereitstellung in großem Maßstab und führt Millionen von Inferenzen pro Tag in Produktionsumgebungen durch.

Hier sind einige der wichtigsten Funktionen des MNN-Frameworks:

• Backend-Automatische Auswahl: MNN kann automatisch das am besten geeignete Ausführungs-Backend, wie CPU oder GPU, basierend auf der Hardware auswählen, auf der es läuft.
• Multi-threaded execution: Es unterstützt Multithreading, wodurch es die Vorteile von Mehrkernprozessoren für eine schnellere Inferenz voll ausschöpfen kann.
• Unterstützt Modellquantisierung: Es ermöglicht dir, die Modellgröße mithilfe von FP16- oder INT8-Quantisierung erheblich zu reduzieren, was dazu beiträgt, die Inferenzgeschwindigkeit zu verbessern und gleichzeitig weniger Speicher zu verbrauchen.
• Leichtgewichtig und schnell: MNN hat einen sehr geringen Speicherbedarf, wobei die Kernbibliothek auf Android etwa 400 KB und auf iOS etwa 5 MB groß ist, was es ideal für mobile und eingebettete Geräte macht.

Verständnis der Funktionsweise der MNN-Integration#

Als Nächstes gehen wir durch, wie man Ultralytics YOLO11-Modelle in das MNN-Format exportiert.

Der erste Schritt besteht darin, das Ultralytics Python package zu installieren, das alles bereitstellt, was für den Export von YOLO11-Modellen in das MNN-Format erforderlich ist. Du kannst dies tun, indem du "pip install ultralytics" in deinem Terminal oder über die Eingabeaufforderung ausführst. Wenn du ein Jupyter Notebook oder Google Colab verwendest, füge vor dem Befehl ein Ausrufezeichen hinzu.

Wenn während der Installation Probleme auftreten, schaue in der Common Issues guide nach Tipps zur Fehlerbehebung.

Sobald deine Umgebung eingerichtet ist, kannst du ein vortrainiertes YOLO11-Modell wie "yolo11n.pt" laden und es wie im Code-Snippet unten gezeigt in das MNN-Format exportieren. Wenn du dein eigenes, angepasstes YOLO11-Modell trainiert hast, kannst du es einfach exportieren, indem du den Dateinamen durch den Pfad zu deinem Modell ersetzt.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="mnn")

Nachdem du dein Modell in MNN konvertiert hast, kannst du es je nach deinen Anwendungsanforderungen auf verschiedenen mobilen und eingebetteten Plattformen verwenden.

Angenommen, du möchtest das exportierte Modell beispielsweise an einem Verkehrsvideo testen. In diesem Fall kannst du das Ultralytics YOLO11-Modell im MNN-Format laden, um Objekte wie Fahrzeuge, Fußgänger und Verkehrsschilder direkt auf dem Gerät zu erkennen, wie im folgenden Beispiel gezeigt.

mnn_model = YOLO("yolo11n.mnn")
results = mnn_model("https://videos.pexels.com/video-files/27783817/12223745_1920_1080_24fps.mp4", save=True)

Wenn die Inferenz abgeschlossen ist, wird das Ausgabevideo mit den erkannten Objekten automatisch im Ordner 'runs/detect/predict' gespeichert. Wenn du die Inferenz außerdem direkt mit dem MNN Python package ausführen möchtest, findest du in der offiziellen Ultralytics documentation weitere Details und Beispiele.

Abb. 3. Analyse des Verkehrs mit einem in das MNN-Format exportierten Ultralytics YOLO11-Modell. Bild vom Autor.

Anwendungsfälle für die Bereitstellung von Edge-KI-Modellen, ermöglicht durch Ultralytics YOLO11 und MNN#

Die Bereitstellung von Ultralytics YOLO11 mit MNN ermöglicht schnelle, effiziente Computer-Vision-Aufgaben wie die Objekterkennung in Umgebungen, in denen eine cloudbasierte Verarbeitung unpraktisch oder nicht möglich ist. Schauen wir uns an, wie diese Integration in realen Szenarien besonders nützlich sein kann.

Mobile Edge AI zur Erkennung von Pflanzenkrankheiten#

Apps zur Erkennung von Pflanzenkrankheiten, die image classification verwenden, erfreuen sich bei Gärtnern, Forschern und Naturbegeisterten wachsender Beliebtheit. Mit nur einem Foto können Nutzer frühzeichen von Krankheiten wie Blattflecken oder Verfärbungen schnell erkennen. Da diese Apps häufig im Freien verwendet werden, wo der Internetzugang möglicherweise eingeschränkt oder nicht verfügbar ist, kann die Abhängigkeit von der Cloud-Verarbeitung unzuverlässig sein.

Nach dem Training kann ein Ultralytics YOLO11-Modell in das MNN-Format exportiert und direkt auf Mobilgeräten ausgeführt werden. Das Modell kann dann Pflanzenarten klassifizieren und sichtbare Krankheitssymptome lokal erkennen, ohne Daten an einen Server zu senden.

Abb. 4. Ein Beispiel für die Verwendung von YOLO11 zur Erkennung von Rost (einer Pflanzenkrankheit) auf einem Blatt (Source).

Effiziente On-Device-Inferenzen in der Fertigung#

Eine genaue Paketverfolgung ist auf geschäftigen Produktionslinien in Fertigungsbetrieben unerlässlich. Ultralytics YOLO11 kann verwendet werden, um jeden Artikel zu verfolgen und zu zählen, während er wichtige Kontrollpunkte passiert, wobei die Zählungen in Echtzeit aktualisiert und Abweichungen gekennzeichnet werden. Dies trägt dazu bei, verpasste oder nicht erfasste Sendungen zu reduzieren, und unterstützt einen reibungsloseren, zuverlässigeren Betrieb.

Abb. 5. Verfolgung und Zählung von Paketen mit YOLO11 (Source).

Die MNN-Integration kann in diesem Zusammenhang besonders wirkungsvoll sein. Sobald das Ultralytics YOLO11-Modell in das MNN-Format exportiert wurde, kann es direkt auf kompakten, stromsparenden Geräten ausgeführt werden, die am Förderband installiert sind.

Da die gesamte Verarbeitung lokal stattfindet, kann das System sofortiges Feedback liefern und benötigt keine Internetverbindung. Dies gewährleistet eine schnelle, zuverlässige Leistung in der Fabrikhalle und hält die Produktion effizient am Laufen, während gleichzeitig eine hohe Genauigkeit und Kontrolle gewahrt bleiben.

Vorteile des Exports von Ultralytics YOLO11 in das MNN-Modellformat#

Hier sind einige wichtige Vorteile der von Ultralytics bereitgestellten MNN-Integration:

• Schnellere Reaktionszeiten: Da die Inferenz auf dem Gerät läuft, erfolgen Vorhersagen in Echtzeit mit minimaler Latenz.
• Verbesserter data privacy: Die Daten verbleiben auf dem Gerät, wodurch die Notwendigkeit entfällt, sensible Bilder oder Videos in die Cloud zu senden.
• Open-Source und aktiv gepflegt: Unterstützt durch Alibaba und eine aktive Community ist MNN zuverlässig und wird regelmäßig mit Leistungsverbesserungen aktualisiert.

Faktoren, die bei der Verwendung des MNN-Frameworks zu berücksichtigen sind#

Bevor du MNN als dein Bereitstellungs-Framework wählst, ist es auch wichtig zu bewerten, wie gut es zu den Anforderungen, Bereitstellungszielen und technischen Einschränkungen deines Projekts passt. Hier sind einige Schlüsselfaktoren, die du berücksichtigen solltest:

• Laufende Kompatibilität: Framework-Updates oder Änderungen an deinen Zielplattformen könnten erneute Tests oder Anpassungen erfordern, damit alles reibungslos läuft.
• Weniger Debugging-Tools: Im Vergleich zu größeren Frameworks bietet MNN begrenztere Tools zum Debuggen und Überprüfen des Modellverhaltens, was die Fehlerbehebung erschweren kann.
• Leistung hängt von der Hardware ab: Die Geschwindigkeit und Effizienz deines Modells variieren je nach Gerät. Teste deine Zielhardware, um sicherzustellen, dass sie deine Leistungsziele erreicht.

Wichtige Erkenntnisse#

Die Unterstützung von Ultralytics für die MNN-Integration erleichtert den Export von YOLO11-Modellen zur Verwendung auf Mobil- und Embedded-Geräten. Es ist eine praktische Option für Anwendungen, die schnelle, zuverlässige Erkennung erfordern, ohne auf Cloud-Zugriff oder ständige Konnektivität angewiesen zu sein.

Dieses Setup hilft, die Bereitstellung zu optimieren, während die Leistung aufrechterhalten und der Ressourcenbedarf gering gehalten wird. Egal, ob du Smart-Home-Systeme, Feldwerkzeuge oder kompakte Industrieanlagen entwickelst, der Export von Ultralytics YOLO11 nach MNN bietet eine flexible und effiziente Möglichkeit, Computer-Vision-Aufgaben direkt auf Edge-Geräten auszuführen.

Werde Teil unserer wachsenden community! Erkunde unser GitHub repository, um tiefer in die KI einzutauchen. Bist du bereit, deine computer vision-Projekte zu starten? Schau dir unsere licensing options an. Erfahre mehr über AI in healthcare und computer vision in retail auf unseren Lösungsseiten!