Indem Sie auf „Alle Cookies akzeptieren“ klicken, stimmen Sie der Speicherung von Cookies auf Ihrem Gerät zu, um die Website-Navigation zu verbessern, die Website-Nutzung zu analysieren und unsere Marketingbemühungen zu unterstützen. Mehr Infos
Cookie-Einstellungen
Indem Sie auf „Alle Cookies akzeptieren“ klicken, stimmen Sie der Speicherung von Cookies auf Ihrem Gerät zu, um die Website-Navigation zu verbessern, die Website-Nutzung zu analysieren und unsere Marketingbemühungen zu unterstützen. Mehr Infos
Erfahren Sie, wie Sie Ultralytics YOLO11-Modelle mit der MNN-Integration exportieren und bereitstellen können, um eine schnelle Inferenz auf mobilen, eingebetteten und Low-Power-Plattformen zu erzielen.
Heutzutage haben sich KI-Innovationen über Remote-Server-Umgebungen hinaus erweitert. KI-Lösungen werden in Edge-Geräte wie Sensoren und Smartphones integriert. Dank dieses technologischen Wandels können Daten nun direkt dort verarbeitet werden, wo sie erzeugt werden, was schnellere Reaktionen, verbesserte Privatsphäre und eine geringere Abhängigkeit von ständiger Cloud-Konnektivität ermöglicht.
Infolgedessen gewinnt Edge AI in vielen Branchen an Bedeutung. Es wird erwartet, dass der Markt für Edge-AI-Software bis 2031 ein Volumen von 8,88 Milliarden US-Dollar erreichen wird, da immer mehr Systeme zu einer schnelleren und lokaleren Verarbeitung übergehen.
Insbesondere die Computer Vision, ein Zweig der KI, der sich auf das Verständnis von Bildern und Videos konzentriert, wird am Edge schnell eingesetzt. Von der Zählung von Lebensmitteln beim Verpacken bis hin zur Unterstützung von Fahrzeugen bei der Erkennung von Fußgängern unterstützt Computer Vision unzählige praktische Anwendungen in verschiedenen Sektoren.
Dies wird durch Computer-Vision-Modelle ermöglicht. Ultralytics YOLO11 ist beispielsweise ein Modell, das verschiedene Vision-AI-Aufgaben wie Objekterkennung, Instanzsegmentierung, Objektverfolgung und Pose-Estimation unterstützt. Es ist auf Geschwindigkeit und Effizienz ausgelegt und funktioniert gut auf Geräten mit begrenzten Hardwareressourcen.
Abb. 1. Erkennung und Verfolgung von verpackten Lebensmitteln mit YOLO11 (Quelle).
YOLO11 eignet sich nicht nur für den Edge-Einsatz, sondern kann durch verschiedene von Ultralytics unterstützte Integrationen in verschiedene Formate exportiert werden, die für unterschiedliche Hardwareumgebungen geeignet sind.
Eine der effizientesten Optionen ist MNN (Mobile Neural Network), eine schlanke Inferenz-Engine, die für Geräte mit geringen Ressourcen entwickelt wurde. Das Exportieren von YOLO11 nach MNN ermöglicht es, es direkt auf Mobiltelefonen, eingebetteten Systemen und anderen Edge-Plattformen auszuführen, wo eine schnelle, geräteinterne Verarbeitung unerlässlich ist.
In diesem Artikel werden wir untersuchen, wie die MNN-Integration funktioniert, gängige Anwendungsfälle hervorheben und Schritt für Schritt erklären, wie Sie mit der Ausführung von Inferenzberechnungen mit einem exportierten YOLO11-Modell beginnen können. Los geht's!
Ein Überblick über MNN: Ein Deep-Learning-Framework
Das Ausführen von Computer Vision Modellen auf kleineren Geräten wie Mobiltelefonen, Industriesensoren und tragbaren Systemen ist nicht immer einfach. Diese Geräte haben oft begrenzten Speicher, langsamere Prozessoren und strenge Leistungsgrenzen.
Das Mobile Neural Network, oder MNN, ist eine schlanke und leistungsstarke Inferenz-Engine, die von Alibaba entwickelt wurde, um KI-Modelle effizient auf ressourcenbeschränkter Hardware auszuführen und gleichzeitig die Echtzeitleistung aufrechtzuerhalten. MNN unterstützt eine breite Palette von Plattformen, darunter Android, iOS und Linux, und funktioniert auf verschiedenen Hardwaretypen wie Central Processing Units (CPUs) und Graphics Processing Units (GPUs).
Die von Ultralytics unterstützte MNN-Integration ermöglicht es, YOLO11-Modelle einfach in das MNN-Format zu exportieren. Einfach ausgedrückt bedeutet dies, dass die Modelle vom YOLO-Format in MNN konvertiert werden können.
Nach der Konvertierung können sie auf Geräten eingesetzt werden, die das MNN-Framework für eine effiziente Inferenz auf dem Gerät unterstützen. Ein wesentlicher Vorteil der Verwendung des MNN-Formats besteht darin, dass es die Bereitstellung von YOLO11 in Szenarien vereinfacht, in denen Größe, Geschwindigkeit und Ressourceneffizienz entscheidend sind.
Wichtige Funktionen des MNN-Inferenz-Backends
Bevor wir uns damit beschäftigen, wie die MNN-Integration verwendet wird, wollen wir uns ansehen, was das MNN-Framework zu einer guten Wahl für die Ausführung von KI-Modellen auf realen Geräten macht. Es wurde entwickelt, um die besonderen Einschränkungen von Edge-Umgebungen zu bewältigen und gleichzeitig eine schnelle und zuverlässige Leistung zu liefern.
Interessanterweise wird MNN intern bei Alibaba in über 30 Anwendungen eingesetzt, darunter Taobao, Tmall, Youku, DingTalk und Xianyu, in einer Vielzahl von Szenarien wie Live-Video, Kurzform-Inhalte, Bildsuche und On-Device-Sicherheitsüberprüfungen. Es unterstützt den großflächigen Einsatz und führt Millionen von Inferenzvorgängen pro Tag in Produktionsumgebungen aus.
Hier sind einige der wichtigsten Funktionen des MNN-Frameworks:
Backend-Autoauswahl: MNN kann automatisch das am besten geeignete Ausführungs-Backend auswählen, z. B. CPU oder GPU, basierend auf der Hardware, auf der es ausgeführt wird.
Multi-Threaded Execution (Mehrfädige Ausführung): Es unterstützt Multi-Threading und ermöglicht es so, die Vorteile von Multicore-Prozessoren für eine schnellere Inferenz voll auszuschöpfen.
Unterstützt Modellquantisierung: Es ermöglicht Ihnen, die Modellgröße mithilfe der FP16- oder INT8-Quantisierung deutlich zu reduzieren, was zur Verbesserung der Inferenzgeschwindigkeit bei gleichzeitiger Reduzierung des Speicherverbrauchs beiträgt.
Leichtgewichtig und schnell: MNN hat einen sehr geringen Footprint, wobei die Core-Bibliothek etwa 400 KB unter Android und etwa 5 MB unter iOS umfasst, was es ideal für mobile und eingebettete Geräte macht.
Funktionsweise der MNN-Integration verstehen
Als Nächstes wollen wir durchgehen, wie man YOLO11-Modelle in das MNN-Format exportiert.
Der erste Schritt ist die Installation des Ultralytics Python-Pakets, das allesNotwendige bereitstellt, um YOLO11-Modelle in das MNN-Format zu exportieren. Sie können dies tun, indem Sie "pip install ultralytics" in Ihrem Terminal oder über die Eingabeaufforderung ausführen. Wenn Sie ein Jupyter Notebook oder Google Colab verwenden, fügen Sie vor dem Befehl ein Ausrufezeichen hinzu.
Wenn Sie während der Installation auf Probleme stoßen, lesen Sie die Anleitung zu häufigen Problemen für Tipps zur Fehlerbehebung.
Sobald Ihre Umgebung eingerichtet ist, können Sie ein vortrainiertes YOLO11-Modell wie "yolo11n.pt" laden und es in das MNN-Format exportieren, wie im folgenden Code-Snippet gezeigt. Wenn Sie Ihr eigenes benutzerdefiniertes YOLO11-Modell trainiert haben, können Sie es einfach exportieren, indem Sie den Dateinamen durch den Pfad Ihres Modells ersetzen.
from ultralytics import YOLO
model = YOLO("yolo11n.pt")
model.export(format="mnn")
Nach der Konvertierung Ihres Modells in MNN können Sie es je nach Anwendungsbedarf auf verschiedenen mobilen und eingebetteten Plattformen verwenden.
Nehmen wir beispielsweise an, Sie möchten das exportierte Modell auf einem Verkehrsvideo testen. In diesem Fall können Sie das YOLO11-Modell im MNN-Format laden, um Objekte wie Fahrzeuge, Fußgänger und Verkehrszeichen direkt auf dem Gerät zu erkennen, wie im folgenden Beispiel gezeigt.
Nach Abschluss der Inferenz wird das Ausgabevideo mit den erkannten Objekten automatisch im Ordner 'runs/detect/predict' gespeichert. Wenn Sie die Inferenz direkt mit dem MNN Python-Paket ausführen möchten, können Sie die offizielle Ultralytics-Dokumentation für weitere Details und Beispiele einsehen.
Abb. 3. Verkehrsanalyse mit einem YOLO11-Modell, das in das MNN-Format exportiert wurde. Bild vom Autor.
Anwendungsfälle für die Edge-KI-Modellbereitstellung, die durch YOLO11 und MNN ermöglicht werden
Die Bereitstellung von YOLO11 mit MNN ermöglicht schnelle, effiziente Computer-Vision-Aufgaben wie die Objekterkennung in Umgebungen, in denen eine Cloud-basierte Verarbeitung nicht praktikabel oder möglich ist. Sehen wir uns an, wie diese Integration in realen Szenarien besonders nützlich sein kann.
Mobile Edge AI zur Identifizierung von Pflanzenkrankheiten
Apps zur Identifizierung von Pflanzenkrankheiten, die Bildklassifizierung verwenden, erfreuen sich bei Gärtnern, Forschern und Naturliebhabern zunehmender Beliebtheit. Mit nur einem Foto können Benutzer schnell frühe Anzeichen einer Krankheit erkennen, wie z. B. Blattflecken oder Verfärbungen. Da diese Apps oft in Außenbereichen verwendet werden, in denen der Internetzugang möglicherweise eingeschränkt oder nicht verfügbar ist, kann die Nutzung von Cloud-Verarbeitung unzuverlässig sein.
Nach dem Training kann ein YOLO11-Modell in das MNN-Format exportiert und direkt auf mobilen Geräten ausgeführt werden. Das Modell kann dann Pflanzenarten klassifizieren und sichtbare Krankheitssymptome lokal erkennen, ohne Daten an einen Server zu senden.
Abb. 4. Ein Beispiel für die Verwendung von YOLO11 zur Erkennung von Rost (einer Pflanzenkrankheit) auf einem Blatt (Quelle).
Effiziente On-Device-Inferenz in der Fertigung
Eine genaue Paketverfolgung ist in den stark frequentierten Produktionslinien von Fertigungsanlagen unerlässlich. YOLO11 kann verwendet werden, um jeden Artikel zu verfolgen und zu zählen, während er wichtige Kontrollpunkte durchläuft, die Zählungen in Echtzeit zu aktualisieren und jegliche Diskrepanzen zu kennzeichnen. Dies trägt dazu bei, fehlende oder nicht verbuchte Sendungen zu reduzieren und einen reibungsloseren, zuverlässigeren Betrieb zu unterstützen.
Abb. 5. Verfolgung und Zählung von Paketen mit YOLO11 (Quelle).
Die MNN-Integration kann in diesem Zusammenhang besonders wirkungsvoll sein. Sobald das YOLO11-Modell in das MNN-Format exportiert wurde, kann es direkt auf kompakten, stromsparenden Geräten laufen, die entlang des Förderbandes installiert sind.
Da die gesamte Verarbeitung lokal erfolgt, kann das System sofortiges Feedback geben und benötigt keine Internetverbindung. Dies gewährleistet eine schnelle, zuverlässige Leistung in der Fabrikhalle und sorgt für einen effizienten Produktionsablauf bei gleichzeitiger Aufrechterhaltung hoher Genauigkeit und Kontrolle.
Vorteile des Exports von YOLO11 in das MNN-Modellformat
Hier sind einige der wichtigsten Vorteile der von Ultralytics bereitgestellten MNN-Integration:
Schnellere Reaktionszeiten: Da die Inferenz auf dem Gerät ausgeführt wird, erfolgen Vorhersagen in Echtzeit mit minimaler Latenz.
Verbesserter Datenschutz: Daten bleiben auf dem Gerät, wodurch die Notwendigkeit reduziert wird, sensible Bilder oder Videos in die Cloud zu senden.
Open-Source und aktiv gepflegt: Unterstützt von Alibaba und einer aktiven Community ist MNN zuverlässig und wird regelmässig mit Leistungsverbesserungen aktualisiert.
Faktoren, die bei der Verwendung des MNN-Frameworks zu berücksichtigen sind
Bevor Sie MNN als Ihr Deployment-Framework auswählen, ist es auch wichtig zu beurteilen, wie gut es zu den Anforderungen Ihres Projekts, den Deployment-Zielen und den technischen Einschränkungen passt. Hier sind einige wichtige Faktoren, die Sie berücksichtigen sollten:
Laufende Kompatibilität: Framework-Aktualisierungen oder Änderungen an Ihren Zielplattformen erfordern möglicherweise erneute Tests oder Anpassungen, damit alles reibungslos läuft.
Weniger Debugging-Tools: Im Vergleich zu größeren Frameworks verfügt MNN über eingeschränktere Tools zum Debuggen und Inspizieren des Modellverhaltens, was die Fehlersuche erschweren kann.
Die Leistung hängt von der Hardware ab: Die Geschwindigkeit und Effizienz Ihres Modells variiert je nach Gerät. Testen Sie Ihre Zielhardware, um sicherzustellen, dass sie Ihre Leistungsziele erfüllt.
Wesentliche Erkenntnisse
Die Unterstützung von Ultralytics für die MNN-Integration macht es einfach, YOLO11-Modelle für den Einsatz auf mobilen und eingebetteten Geräten zu exportieren. Es ist eine praktische Option für Anwendungen, die eine schnelle, zuverlässige Erkennung erfordern, ohne auf Cloud-Zugriff oder ständige Konnektivität angewiesen zu sein.
Dieses Setup hilft, die Bereitstellung zu rationalisieren, während die Leistung erhalten bleibt und der Ressourcenbedarf niedrig gehalten wird. Egal, ob Sie Smart-Home-Systeme, Feldwerkzeuge oder kompakte Industriegeräte entwickeln, der Export von YOLO11 nach MNN bietet eine flexible und effiziente Möglichkeit, Computer-Vision-Aufgaben direkt auf Edge-Geräten auszuführen.