Deploye Ultralytics YOLO11 nahtlos mit der MNN-Integration

Heutzutage haben sich KI-Innovationen über entfernte Serverumgebungen hinaus ausgeweitet. KI-Lösungen werden zunehmend in Edge-Geräte wie Sensoren und Smartphones integriert. Dank dieser technologischen Verlagerung können Daten nun direkt dort verarbeitet werden, wo sie entstehen, was schnellere Reaktionen, verbesserte Privatsphäre und eine geringere Abhängigkeit von einer ständigen Cloud-Verbindung ermöglicht.

Infolgedessen gewinnt Edge AI in vielen Branchen an Bedeutung. Der Edge AI Softwaremarkt wird bis 2031 voraussichtlich 8,88 Milliarden US-Dollar erreichen, da immer mehr Systeme auf eine schnellere und lokalere Verarbeitung umsteigen.

Insbesondere Computer Vision, ein Teilbereich der KI, der sich auf das Verständnis von Bildern und Videos konzentriert, wird am Edge rasch übernommen. Vom Zählen von Lebensmittelartikeln bei der Verpackung bis hin zur Unterstützung von Fahrzeugen bei der Fußgängererkennung unterstützt Computer Vision unzählige praktische Anwendungen in verschiedenen Sektoren.

Dies wird durch Computer Vision-Modelle ermöglicht. Zum Beispiel ist Ultralytics YOLO11 ein Modell, das verschiedene Vision AI-Aufgaben wie Objekterkennung, Instanzsegmentierung, Objektverfolgung und Pose-Schätzung unterstützt. Es ist auf Schnelligkeit und Effizienz ausgelegt und erzielt gute Ergebnisse auf Geräten mit begrenzten Hardware-Ressourcen.

Abb. 1. Erkennung und Verfolgung von Lebensmitteln bei der Verpackung mit YOLO11 (Quelle).

Neben der Eignung für den Edge-Einsatz kann YOLO11 durch verschiedene von Ultralytics unterstützte Integrationen in diverse Formate exportiert werden, die für unterschiedliche Hardwareumgebungen geeignet sind.

Eine der effizientesten Optionen ist MNN (Mobile Neural Network), eine leichtgewichtige Inferenz-Engine, die für Geräte mit geringen Ressourcen entwickelt wurde. Durch den Export von YOLO11 nach MNN kann es direkt auf Mobiltelefonen, eingebetteten Systemen und anderen Edge-Plattformen ausgeführt werden, wo eine schnelle On-Device-Verarbeitung entscheidend ist.

In diesem Artikel werden wir untersuchen, wie die MNN-Integration funktioniert, gängige Anwendungsfälle hervorheben und durch die ersten Schritte beim Ausführen von Inferenzen mit einem exportierten YOLO11-Modell führen. Legen wir los!

Link to this sectionEin Überblick über MNN: Ein Deep Learning Framework#

Das Ausführen von Computer Vision Modellen auf kleineren Geräten wie Mobiltelefonen, industriellen Sensoren und tragbaren Systemen ist nicht immer einfach. Diese Geräte verfügen oft über begrenzten Arbeitsspeicher, langsamere Prozessoren und strenge Leistungsbeschränkungen.

Das Mobile Neural Network, kurz MNN, ist eine leichtgewichtige und leistungsstarke Inferenz-Engine, die von Alibaba entwickelt wurde, um KI-Modelle effizient auf Hardware mit geringen Ressourcen auszuführen und dabei Echtzeitleistung beizubehalten. MNN unterstützt eine Vielzahl von Plattformen, einschließlich Android, iOS und Linux, und arbeitet über eine Reihe von Hardwaretypen wie Central Processing Units (CPUs) und Graphics Processing Units (GPUs) hinweg.

Abb. 2. Ein Blick auf das MNN-Framework (Quelle).

Die von Ultralytics unterstützte MNN-Integration ermöglicht es, YOLO11-Modelle einfach in das MNN-Format zu exportieren. Einfach ausgedrückt bedeutet dies, dass die Modelle vom YOLO-Format in MNN konvertiert werden können.

Sobald sie konvertiert sind, können sie auf Geräten bereitgestellt werden, die das MNN-Framework für eine effiziente On-Device-Inferenz unterstützen. Ein wesentlicher Vorteil der Verwendung des MNN-Formats besteht darin, dass es die Bereitstellung von YOLO11 in Szenarien vereinfacht, in denen Größe, Geschwindigkeit und Ressourceneffizienz entscheidend sind.

Link to this sectionHauptmerkmale des MNN-Inferenz-Backends#

Bevor wir uns damit befassen, wie man die MNN-Integration nutzt, werfen wir einen Blick darauf, was das MNN-Framework zu einer großartigen Wahl für die Ausführung von KI-Modellen auf realen Geräten macht. Es ist darauf ausgelegt, die einzigartigen Einschränkungen von Edge-Umgebungen zu bewältigen und gleichzeitig eine schnelle und zuverlässige Leistung zu liefern.

Interessanterweise wird MNN intern bei Alibaba in über 30 Anwendungen verwendet, darunter Taobao, Tmall, Youku, DingTalk und Xianyu, in einer Vielzahl von Szenarien wie Live-Video, Kurzformat-Inhalten, Bildsuche und On-Device-Sicherheitsprüfungen. Es unterstützt die Bereitstellung in großem Maßstab und führt Millionen von Inferenzen pro Tag in Produktionsumgebungen durch.

Hier sind einige der wichtigsten Funktionen des MNN-Frameworks:

• Backend-Automatische Auswahl: MNN kann automatisch das am besten geeignete Ausführungs-Backend, wie CPU oder GPU, basierend auf der Hardware auswählen, auf der es läuft.
• Multithreaded-Ausführung: Es unterstützt Multithreading, wodurch es die Vorteile von Mehrkernprozessoren für eine schnellere Inferenz voll ausschöpfen kann.
• Unterstützt Modellquantisierung: Es ermöglicht dir, die Modellgröße mithilfe von FP16- oder INT8-Quantisierung erheblich zu reduzieren, was dazu beiträgt, die Inferenzgeschwindigkeit zu verbessern und gleichzeitig weniger Speicher zu verbrauchen.
• Leichtgewichtig und schnell: MNN hat einen sehr geringen Speicherbedarf, wobei die Kernbibliothek auf Android etwa 400 KB und auf iOS etwa 5 MB groß ist, was es ideal für mobile und eingebettete Geräte macht.

Link to this sectionVerständnis der Funktionsweise der MNN-Integration#

Als Nächstes gehen wir durch, wie man YOLO11-Modelle in das MNN-Format exportiert.

Der erste Schritt besteht darin, das Ultralytics Python-Paket zu installieren, das alles Notwendige für den Export von YOLO11-Modellen in das MNN-Format bietet. Du kannst dies tun, indem du "pip install ultralytics" in deinem Terminal ausführst oder die Eingabeaufforderung verwendest. Wenn du ein Jupyter Notebook oder Google Colab verwendest, füge ein Ausrufezeichen vor dem Befehl hinzu.

Falls bei der Installation Probleme auftreten, schaue im Leitfaden für allgemeine Probleme nach Tipps zur Fehlerbehebung.

Sobald deine Umgebung eingerichtet ist, kannst du ein vortrainiertes YOLO11-Modell wie "yolo11n.pt" laden und es wie im Code-Snippet unten gezeigt in das MNN-Format exportieren. Wenn du dein eigenes, angepasstes YOLO11-Modell trainiert hast, kannst du es einfach exportieren, indem du den Dateinamen durch den Pfad zu deinem Modell ersetzt.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="mnn")

Nachdem du dein Modell in MNN konvertiert hast, kannst du es je nach deinen Anwendungsanforderungen auf verschiedenen mobilen und eingebetteten Plattformen verwenden.

Nehmen wir zum Beispiel an, du möchtest das exportierte Modell an einem Video von Verkehrssituationen testen. In diesem Fall kannst du das YOLO11-Modell im MNN-Format laden, um Objekte wie Fahrzeuge, Fußgänger und Verkehrsschilder direkt auf dem Gerät zu erkennen, wie im Beispiel unten gezeigt.

mnn_model = YOLO("yolo11n.mnn")
results = mnn_model("https://videos.pexels.com/video-files/27783817/12223745_1920_1080_24fps.mp4", save=True)

Wenn die Inferenz abgeschlossen ist, wird das ausgegebene Video mit den erkannten Objekten automatisch im Ordner 'runs/detect/predict' gespeichert. Wenn du die Inferenz direkt mit dem MNN Python-Paket ausführen möchtest, kannst du die offizielle Ultralytics Dokumentation für weitere Details und Beispiele besuchen.

Abb. 3. Analyse des Verkehrs mithilfe eines in das MNN-Format exportierten YOLO11-Modells. Bild vom Autor.

Link to this sectionAnwendungsfälle der Edge AI-Modellbereitstellung ermöglicht durch YOLO11 und MNN#

Die Bereitstellung von YOLO11 mit MNN ermöglicht schnelle, effiziente Computer Vision-Aufgaben wie die Objekterkennung in Umgebungen, in denen eine Cloud-basierte Verarbeitung nicht praktikabel oder möglich ist. Schauen wir uns an, wie diese Integration besonders in realen Szenarien nützlich sein kann.

Link to this sectionMobile Edge AI zur Erkennung von Pflanzenkrankheiten#

Apps zur Erkennung von Pflanzenkrankheiten, die Bildklassifizierung verwenden, werden bei Gärtnern, Forschern und Naturliebhabern immer beliebter. Mit nur einem Foto können Benutzer schnell erste Anzeichen einer Krankheit, wie Blattflecken oder Verfärbungen, identifizieren. Da diese Apps oft im Freien verwendet werden, wo der Internetzugang begrenzt oder nicht verfügbar sein kann, kann eine Abhängigkeit von der Cloud-Verarbeitung unzuverlässig sein.

Nach dem Training kann ein YOLO11-Modell in das MNN-Format exportiert und direkt auf Mobilgeräten ausgeführt werden. Das Modell kann dann Pflanzenarten klassifizieren und sichtbare Krankheitssymptome lokal erkennen, ohne Daten an einen Server senden zu müssen.

Abb. 4. Ein Beispiel für die Verwendung von YOLO11 zur Erkennung von Rost-Anzeichen (einer Pflanzenkrankheit) auf einem Blatt (Quelle).

Link to this sectionEffiziente On-Device-Inferenzen in der Fertigung#

Genaue Paketverfolgung ist auf geschäftigen Produktionslinien in Fertigungsanlagen unerlässlich. YOLO11 kann verwendet werden, um jeden Artikel zu verfolgen und zu zählen, während er wichtige Kontrollpunkte passiert, wobei die Zählerstände in Echtzeit aktualisiert und Unstimmigkeiten gemeldet werden. Dies hilft, verpasste oder nicht verbuchte Sendungen zu reduzieren und unterstützt reibungslosere, zuverlässigere Abläufe.

Abb. 5. Verfolgung und Zählung von Paketen mit YOLO11 (Quelle).

Die MNN-Integration kann in diesem Zusammenhang besonders wirkungsvoll sein. Sobald das YOLO11-Modell in das MNN-Format exportiert wurde, kann es direkt auf kompakten, stromsparenden Geräten ausgeführt werden, die entlang des Förderbands installiert sind.

Da die gesamte Verarbeitung lokal stattfindet, kann das System sofortiges Feedback liefern und benötigt keine Internetverbindung. Dies gewährleistet eine schnelle, zuverlässige Leistung in der Fabrikhalle und hält die Produktion effizient am Laufen, während gleichzeitig eine hohe Genauigkeit und Kontrolle gewahrt bleiben.

Link to this sectionVorteile des Exports von YOLO11 in das MNN-Modellformat#

Hier sind einige wichtige Vorteile der von Ultralytics bereitgestellten MNN-Integration:

• Schnellere Reaktionszeiten: Da die Inferenz auf dem Gerät läuft, erfolgen Vorhersagen in Echtzeit mit minimaler Latenz.
• Verbesserter Datenschutz: Daten verbleiben auf dem Gerät, wodurch die Notwendigkeit entfällt, sensible Bilder oder Videos in die Cloud zu senden.
• Open-Source und aktiv gepflegt: Unterstützt durch Alibaba und eine aktive Community ist MNN zuverlässig und wird regelmäßig mit Leistungsverbesserungen aktualisiert.

Link to this sectionFaktoren, die bei der Verwendung des MNN-Frameworks zu berücksichtigen sind#

Bevor du MNN als dein Bereitstellungs-Framework wählst, ist es auch wichtig zu bewerten, wie gut es zu den Anforderungen, Bereitstellungszielen und technischen Einschränkungen deines Projekts passt. Hier sind einige Schlüsselfaktoren, die du berücksichtigen solltest:

• Laufende Kompatibilität: Framework-Updates oder Änderungen an deinen Zielplattformen könnten erneute Tests oder Anpassungen erfordern, damit alles reibungslos läuft.
• Weniger Debugging-Tools: Im Vergleich zu größeren Frameworks bietet MNN begrenztere Tools zum Debuggen und Überprüfen des Modellverhaltens, was die Fehlerbehebung erschweren kann.
• Leistung hängt von der Hardware ab: Die Geschwindigkeit und Effizienz deines Modells variieren je nach Gerät. Teste deine Zielhardware, um sicherzustellen, dass sie deine Leistungsziele erreicht.

Link to this sectionWichtige Erkenntnisse#

Die Unterstützung von Ultralytics für die MNN-Integration erleichtert den Export von YOLO11-Modellen zur Verwendung auf Mobil- und Embedded-Geräten. Es ist eine praktische Option für Anwendungen, die schnelle, zuverlässige Erkennung erfordern, ohne auf Cloud-Zugriff oder ständige Konnektivität angewiesen zu sein.

Dieses Setup hilft, die Bereitstellung zu optimieren, während die Leistung aufrechterhalten und der Ressourcenbedarf gering gehalten wird. Egal, ob du Smart-Home-Systeme, Feldtools oder kompakte Industriegeräte entwickelst, der Export von YOLO11 nach MNN bietet eine flexible und effiziente Möglichkeit, Computer Vision-Aufgaben direkt auf Edge-Geräten auszuführen.

Tritt unserer wachsenden Community bei! Erkunde unser GitHub-Repository, um tiefer in die KI einzutauchen. Bereit für deine Computer Vision-Projekte? Sieh dir unsere Lizenzoptionen an. Entdecke mehr über KI im Gesundheitswesen und Computer Vision im Einzelhandel auf unseren Lösungsseiten!