Yolo Vision Shenzhen
Shenzhen
Jetzt beitreten

Nahtloser Einsatz von Ultralytics YOLO11 mit der MNN-Integration

Erfahren Sie, wie Sie Ultralytics YOLO11 mit der MNN-Integration exportieren und einsetzen können, um schnelle Inferenzen auf mobilen, eingebetteten und stromsparenden Plattformen zu erhalten.

Heutzutage haben sich KI-Innovationen über Remote-Server-Umgebungen hinaus erweitert. KI-Lösungen werden in Edge-Geräte wie Sensoren und Smartphones integriert. Dank dieses technologischen Wandels können Daten nun direkt dort verarbeitet werden, wo sie erzeugt werden, was schnellere Reaktionen, verbesserte Privatsphäre und eine geringere Abhängigkeit von ständiger Cloud-Konnektivität ermöglicht.

Infolgedessen gewinnt Edge AI in vielen Branchen an Bedeutung. Es wird erwartet, dass der Markt für Edge-AI-Software bis 2031 ein Volumen von 8,88 Milliarden US-Dollar erreichen wird, da immer mehr Systeme zu einer schnelleren und lokaleren Verarbeitung übergehen.

Insbesondere die Computer Vision, ein Zweig der KI, der sich auf das Verstehen von Bildern und Videos konzentriert, wird schnell in den Randbereichen eingesetzt. Von der Zählung verpackter Lebensmittel bis hin zur Unterstützung von Fahrzeugen bei der detect Fußgängern - Computer Vision unterstützt unzählige praktische Anwendungen in verschiedenen Bereichen.

Ermöglicht wird dies durch Computer-Vision-Modelle. Zum Beispiel, Ultralytics YOLO11 ist ein Modell, das verschiedene KI-Aufgaben wie Objekterkennung, Instanzsegmentierung, Objektverfolgung und Posenschätzung unterstützt. Es ist so konzipiert, dass es schnell und effizient ist und auch auf Geräten mit begrenzten Hardware-Ressourcen gut funktioniert.

Abb. 1. Erkennung und Verfolgung von verpackten Lebensmitteln mit YOLO11 (Quelle).

YOLO11 ist nicht nur für den Edge-Einsatz geeignet, sondern kann durch verschiedene von Ultralytics unterstützte Integrationen auch in verschiedene Formate exportiert werden, die für unterschiedliche Hardware-Umgebungen geeignet sind. 

Eine der effizientesten Optionen ist MNN (Mobile Neural Network), eine leichtgewichtige Inferenzmaschine, die für Geräte mit geringen Ressourcen entwickelt wurde. Durch den Export von YOLO11 nach MNN kann es direkt auf Mobiltelefonen, eingebetteten Systemen und anderen Edge-Plattformen ausgeführt werden, bei denen eine schnelle Verarbeitung auf dem Gerät unerlässlich ist.

In diesem Artikel werden wir untersuchen, wie die MNN-Integration funktioniert, häufige Anwendungsfälle hervorheben und zeigen, wie man mit der Durchführung von Inferenzen mit einem exportierten YOLO11 beginnt. Legen wir los!

Ein Überblick über MNN: Ein Deep-Learning-Framework

Das Ausführen von Computer Vision Modellen auf kleineren Geräten wie Mobiltelefonen, Industriesensoren und tragbaren Systemen ist nicht immer einfach. Diese Geräte haben oft begrenzten Speicher, langsamere Prozessoren und strenge Leistungsgrenzen. 

Das Mobile Neural Network (MNN) ist eine leichtgewichtige und leistungsstarke Inferenz-Engine, die von Alibaba entwickelt wurde, um KI-Modelle effizient auf ressourcenarmer Hardware auszuführen und gleichzeitig die Echtzeitleistung zu erhalten. MNN unterstützt eine Vielzahl von Plattformen, darunter Android, iOS und Linux, und arbeitet mit einer Reihe von Hardwaretypen wie Zentraleinheiten (CPUs) und Grafikverarbeitungseinheiten (GPUs).

Abb. 2. Ein Blick auf das MNN-Framework (Quelle).

Die von Ultralytics unterstützte MNN-Integration ermöglicht es, YOLO11 einfach in das MNN-Format zu exportieren. Einfach ausgedrückt bedeutet dies, dass die Modelle vom YOLO in MNN konvertiert werden können. 

Nach der Konvertierung können sie auf Geräten eingesetzt werden, die das MNN-Framework für effiziente Inferenzen auf dem Gerät unterstützen. Ein wesentlicher Vorteil der Verwendung des MNN-Formats besteht darin, dass es den Einsatz von YOLO11 in Szenarien vereinfacht, in denen Größe, Geschwindigkeit und Ressourceneffizienz entscheidend sind.

Wichtige Funktionen des MNN-Inferenz-Backends

Bevor wir uns damit beschäftigen, wie die MNN-Integration verwendet wird, wollen wir uns ansehen, was das MNN-Framework zu einer guten Wahl für die Ausführung von KI-Modellen auf realen Geräten macht. Es wurde entwickelt, um die besonderen Einschränkungen von Edge-Umgebungen zu bewältigen und gleichzeitig eine schnelle und zuverlässige Leistung zu liefern.

Interessanterweise wird MNN intern bei Alibaba in über 30 Anwendungen eingesetzt, darunter Taobao, Tmall, Youku, DingTalk und Xianyu, in einer Vielzahl von Szenarien wie Live-Video, Kurzform-Inhalte, Bildsuche und On-Device-Sicherheitsüberprüfungen. Es unterstützt den großflächigen Einsatz und führt Millionen von Inferenzvorgängen pro Tag in Produktionsumgebungen aus.

Hier sind einige der wichtigsten Funktionen des MNN-Frameworks:

  • Automatische Backend-Auswahl: MNN kann automatisch das am besten geeignete Ausführungs-Backend wählen, wie CPU oder GPU, basierend auf der Hardware, auf der es läuft.
  • Multi-Threaded Execution (Mehrfädige Ausführung): Es unterstützt Multi-Threading und ermöglicht es so, die Vorteile von Multicore-Prozessoren für eine schnellere Inferenz voll auszuschöpfen.
  • Unterstützt Modellquantisierung: Es ermöglicht Ihnen, die Modellgröße mithilfe der FP16- oder INT8-Quantisierung deutlich zu reduzieren, was zur Verbesserung der Inferenzgeschwindigkeit bei gleichzeitiger Reduzierung des Speicherverbrauchs beiträgt.
  • Leicht und schnell: MNN hat einen sehr kleinen Fußabdruck, mit der Kernbibliothek etwa 400 KB auf Android und etwa 5 MB auf iOS, was es ideal für mobile und eingebettete Geräte macht.

Funktionsweise der MNN-Integration verstehen

Als Nächstes wollen wir uns ansehen, wie man YOLO11 in das MNN-Format exportiert.

Der erste Schritt ist die Installation des Python Ultralytics , das alles enthält, was für den Export von YOLO11 in das MNN-Format erforderlich ist. Sie können dies tun, indem Sie "pip install ultralytics" auf Ihrem Terminal oder über die Eingabeaufforderung ausführen. Wenn Sie ein Jupyter Notebook oder Google Colab verwenden, fügen Sie ein Ausrufezeichen vor dem Befehl ein.

Wenn Sie während der Installation auf Probleme stoßen, lesen Sie die Anleitung zu häufigen Problemen für Tipps zur Fehlerbehebung.

Sobald Ihre Umgebung eingerichtet ist, können Sie ein trainiertes YOLO11 wie "yolo11n.pt" laden und es in das MNN-Format exportieren, wie im folgenden Code-Schnipsel gezeigt. Wenn Sie Ihr eigenes YOLO11 trainiert haben, können Sie es einfach exportieren, indem Sie den Dateinamen durch den Pfad Ihres Modells ersetzen.

from ultralytics import YOLO
model = YOLO("yolo11n.pt")
model.export(format="mnn")

Nach der Konvertierung Ihres Modells in MNN können Sie es je nach Anwendungsbedarf auf verschiedenen mobilen und eingebetteten Plattformen verwenden.

Nehmen wir zum Beispiel an, Sie möchten das exportierte Modell an einem Verkehrsvideo testen. In diesem Fall können Sie das YOLO11 im MNN-Format laden, um Objekte wie Fahrzeuge, Fußgänger und Verkehrszeichen direkt auf dem Gerät detect , wie im folgenden Beispiel gezeigt.

mnn_model = YOLO("yolo11n.mnn")
results = mnn_model("https://videos.pexels.com/video-files/27783817/12223745_1920_1080_24fps.mp4", save=True)

Wenn die Inferenz abgeschlossen ist, wird das Ausgabevideo mit den erkannten Objekten automatisch im Ordner "detect" gespeichert. Wenn Sie die Inferenz direkt mit dem Python durchführen möchten, finden Sie in der offiziellen Ultralytics weitere Einzelheiten und Beispiele.

Abbildung 3. Analyse des Verkehrs mit einem YOLO11 , das in das MNN-Format exportiert wurde. Bild vom Autor.

Anwendungsfälle für den Einsatz von KI-Modellen, die durch YOLO11 und MNN ermöglicht werden

Der Einsatz von YOLO11 mit MNN ermöglicht schnelle, effiziente Computer-Vision-Aufgaben wie die Objekterkennung in Umgebungen, in denen eine Cloud-basierte Verarbeitung nicht sinnvoll oder möglich ist. Lassen Sie uns sehen, wie diese Integration in realen Szenarien besonders nützlich sein kann.

Mobile Edge AI zur Identifizierung von Pflanzenkrankheiten

Apps zur Identifizierung von Pflanzenkrankheiten, die Bildklassifizierung verwenden, erfreuen sich bei Gärtnern, Forschern und Naturliebhabern zunehmender Beliebtheit. Mit nur einem Foto können Benutzer schnell frühe Anzeichen einer Krankheit erkennen, wie z. B. Blattflecken oder Verfärbungen. Da diese Apps oft in Außenbereichen verwendet werden, in denen der Internetzugang möglicherweise eingeschränkt oder nicht verfügbar ist, kann die Nutzung von Cloud-Verarbeitung unzuverlässig sein.

Nach dem Training kann ein YOLO11 in das MNN-Format exportiert werden und direkt auf mobilen Geräten ausgeführt werden. Das Modell kann dann Pflanzenarten classify und sichtbare Krankheitssymptome lokal detect , ohne Daten an einen Server zu senden. 

Abb. 4. Ein Beispiel für die Verwendung von YOLO11 zur detect Anzeichen von Rost (einer Pflanzenkrankheit) auf einem Blatt(Quelle).

Effiziente On-Device-Inferenz in der Fertigung

Die genaue Verfolgung von Paketen ist bei stark frequentierten Produktionslinien in Fertigungsbetrieben unerlässlich. YOLO11 kann dazu verwendet werden, jeden Artikel track und zu zählen, während er die wichtigsten Kontrollpunkte durchläuft, wobei die Zählungen in Echtzeit aktualisiert und alle Unstimmigkeiten markiert werden. Dies trägt dazu bei, verpasste oder nicht gezählte Sendungen zu reduzieren und unterstützt einen reibungsloseren, zuverlässigeren Betrieb.

Abb. 5. Verfolgung und Zählung von Paketen mit YOLO11 (Quelle).

Die MNN-Integration kann in diesem Zusammenhang besonders wirkungsvoll sein. Sobald das YOLO11 in das MNN-Format exportiert wurde, kann es direkt auf kompakten, stromsparenden Geräten laufen, die entlang des Förderbandes installiert sind. 

Da die gesamte Verarbeitung lokal erfolgt, kann das System sofortiges Feedback geben und benötigt keine Internetverbindung. Dies gewährleistet eine schnelle, zuverlässige Leistung in der Fabrikhalle und sorgt für einen effizienten Produktionsablauf bei gleichzeitiger Aufrechterhaltung hoher Genauigkeit und Kontrolle.

Vorteile des Exports von YOLO11 in das MNN-Modellformat

Hier sind einige der wichtigsten Vorteile der MNN-Integration von Ultralytics:

  • Schnellere Reaktionszeiten: Da die Inferenz auf dem Gerät ausgeführt wird, erfolgen Vorhersagen in Echtzeit mit minimaler Latenz.
  • Verbesserter Datenschutz: Daten bleiben auf dem Gerät, wodurch die Notwendigkeit reduziert wird, sensible Bilder oder Videos in die Cloud zu senden.
  • Open-Source und aktiv gepflegt: Unterstützt von Alibaba und einer aktiven Community ist MNN zuverlässig und wird regelmässig mit Leistungsverbesserungen aktualisiert.

Faktoren, die bei der Verwendung des MNN-Frameworks zu berücksichtigen sind

Bevor Sie MNN als Ihr Deployment-Framework auswählen, ist es auch wichtig zu beurteilen, wie gut es zu den Anforderungen Ihres Projekts, den Deployment-Zielen und den technischen Einschränkungen passt. Hier sind einige wichtige Faktoren, die Sie berücksichtigen sollten:

  • Laufende Kompatibilität: Framework-Aktualisierungen oder Änderungen an Ihren Zielplattformen erfordern möglicherweise erneute Tests oder Anpassungen, damit alles reibungslos läuft.
  • Weniger Debugging-Tools: Im Vergleich zu größeren Frameworks verfügt MNN über eingeschränktere Tools zum Debuggen und Inspizieren des Modellverhaltens, was die Fehlersuche erschweren kann.
  • Die Leistung hängt von der Hardware ab: Die Geschwindigkeit und Effizienz Ihres Modells variiert je nach Gerät. Testen Sie Ihre Zielhardware, um sicherzustellen, dass sie Ihre Leistungsziele erfüllt.

Wesentliche Erkenntnisse

Die Unterstützung von Ultralyticsfür die MNN-Integration erleichtert den Export von YOLO11 zur Verwendung auf mobilen und eingebetteten Geräten. Dies ist eine praktische Option für Anwendungen, die eine schnelle, zuverlässige Erkennung erfordern, ohne auf einen Cloud-Zugang oder ständige Konnektivität angewiesen zu sein.

Dieses Setup trägt dazu bei, die Bereitstellung zu rationalisieren und gleichzeitig die Leistung und den Ressourcenbedarf niedrig zu halten. Ganz gleich, ob Sie Smart-Home-Systeme, Feldwerkzeuge oder kompakte Industriegeräte entwickeln, der Export von YOLO11 nach MNN bietet eine flexible und effiziente Möglichkeit, Computer-Vision-Aufgaben direkt auf Edge-Geräten auszuführen.

Treten Sie unserer wachsenden Community bei! Erkunden Sie unser GitHub-Repository, um tiefer in die KI einzutauchen. Sind Sie bereit, Ihre Computer-Vision-Projekte zu starten? Sehen Sie sich unsere Lizenzoptionen an. Entdecken Sie mehr über KI im Gesundheitswesen und Computer Vision im Einzelhandel auf unseren Lösungsseiten!

Lasst uns gemeinsam die Zukunft
der KI gestalten!

Beginnen Sie Ihre Reise mit der Zukunft des maschinellen Lernens

Kostenlos starten