Exportieren von Ultralytics YOLO11 Modellen in das NCNN-Modellformat

KI-Lösungen werden immer verbreiteter, selbst in kritischen Sektoren wie Katastrophenmanagement, Abfallwirtschaft und Brandbekämpfung. Da die Akzeptanz weiter wächst, werden KI-Modelle in immer vielfältigeren Umgebungen eingesetzt – nicht nur auf Servern oder in der Cloud, sondern direkt auf Geräten, die im Außeneinsatz sind.

Drohnen und Ausrüstungen mit Edge-Komponenten, die von kleinen Prozessoren betrieben werden, können beispielsweise in Katastrophengebieten eine entscheidende Rolle spielen. Ausgestattet mit Wärmebildkameras können diese Geräte vor Ort Daten sammeln und analysieren, um unter Trümmern eingeschlossene Personen zu lokalisieren. Möglich wird dies durch Computer Vision, einen Zweig der künstlichen Intelligenz, der visuelle Informationen aus Bildern und Videos interpretiert.

Die Bereitstellung von Vision-KI-Modellen auf Edge-Geräten ist jedoch nicht so einfach, wie es scheinen mag. KI-Modelle müssen optimiert werden, um auf Hardware mit begrenzter Rechenleistung und geringem Arbeitsspeicher effizient zu laufen. Deshalb sind KI-Frameworks wie NCNN unverzichtbar. Sie helfen dabei, Modelle für Echtzeitleistung auf Geräten mit geringem Energieverbrauch zu konvertieren und zu optimieren, ohne dabei an Genauigkeit einzubüßen.

Insbesondere Ultralytics YOLO-Modelle wie Ultralytics YOLO11 können mithilfe der von Ultralytics unterstützten NCNN-Integration einfach in das NCNN-Modellformat exportiert werden. Die Konvertierung von YOLO11 in das NCNN-Modellformat ermöglicht es dem Modell, schneller zu laufen, weniger Speicher zu verbrauchen und reibungslos auf verschiedenen Geräten zu arbeiten, ohne an Genauigkeit zu verlieren.

In diesem Artikel werden wir die von Ultralytics unterstützte NCNN-Integration erkunden und durchgehen, wie du dein YOLO11-Modell in das NCNN-Modellformat exportieren kannst. Fangen wir an!

Link to this sectionEin Überblick über NCNN: Ein leichtgewichtiges Framework für neuronale Netze#

NCNN ist ein Open-Source-Inferenz-Framework für neuronale Netze, das von Tencent entwickelt wurde. Es wurde speziell für mobile und Edge-Umgebungen konzipiert und ermöglicht eine leistungsstarke Inferenz bei minimalem Platzbedarf. Dies macht es ideal für den Einsatz auf ressourcenbeschränkten Geräten wie Smartphones, Drohnen und IoT-Geräten (Internet of Things).

Das NCNN-Framework hat in der KI- und Deep-Learning-Community aufgrund seiner Effizienz, Portabilität und Optimierung für mobile CPUs (Zentraleinheiten) an Beliebtheit gewonnen. Es ermöglicht Entwicklern, neuronale Netzwerkmodelle auf kostengünstigen Geräten mit begrenztem Speicher und begrenzter Rechenleistung auszuführen. NCNN ist einfach und flexibel konzipiert, unterstützt eine breite Palette an Computer-Vision-Modellen und läuft auf mehreren Plattformen, einschließlich Android, Linux, iOS und macOS.

Abb. 1. Modelle im NCNN-Format können auf vielen Plattformen bereitgestellt werden.

Link to this sectionHauptmerkmale der NCNN-Leistungsoptimierung#

Hier sind einige der wichtigsten Funktionen, die NCNN zu einem einflussreichen und weit verbreiteten Inferenz-Framework für neuronale Netze machen:

• Leichtgewichtige, hardwareunabhängige Laufzeit: Das NCNN-Framework ist für die Ausführung von Modellen auf Standard-CPUs optimiert und erfordert keine spezialisierte Hardware wie GPUs (Grafikprozessoren) oder NPUs (neurale Prozessoren).
• Modellquantisierung: Für Anwendungen, bei denen Speicher und Geschwindigkeit entscheidend sind, unterstützt NCNN Quantisierungsmethoden, die die Modellgröße reduzieren und die Inferenzzeit verbessern. Dies hilft, KI-Modelle reibungslos auf mobilen und eingebetteten Geräten auszuführen.
• Open Source und zugänglich: Als Open-Source-Framework ist NCNN für jeden frei verfügbar, um es zu nutzen, zu modifizieren und zu verbessern. Dies fördert Innovation und eine breite Akzeptanz in verschiedenen Anwendungsbereichen.
• Aktive Entwicklung und Community: NCNN wird auf GitHub von Tencent und einer wachsenden Entwickler-Community aktiv gepflegt, mit regelmäßigen Updates und Verbesserungen der Modellkompatibilität.

Link to this sectionExportieren von YOLO11 in das NCNN-Modellformat: Eine Kurzanleitung#

Nachdem wir besprochen haben, was NCNN ist, schauen wir uns genauer an, wie YOLO11-Modelle in das NCNN-Format exportiert werden.

Link to this sectionSchritt 1: Installiere das Ultralytics Python-Paket#

Vor dem Exportieren des Modells ist der erste Schritt die Installation des Ultralytics Python-Pakets mithilfe des Paket-Installers pip. Dies kann durch Ausführen von "pip install ultralytics" in deinem Terminal oder deiner Eingabeaufforderung erfolgen. Wenn du in einem Jupyter Notebook oder Google Colab arbeitest, füge ein Ausrufezeichen vor den Befehl ein, wie hier: "!pip install ultralytics".

Das Ultralytics-Paket bietet Tools zum Trainieren, Testen, Feinabstimmen und Exportieren von Vision-KI-Modellen für eine Vielzahl von Computer-Vision-Aufgaben. Wenn bei der Installation oder beim Exportieren eines Modells Probleme auftreten, sind die offizielle Ultralytics-Dokumentation und der Leitfaden für allgemeine Probleme großartige Ressourcen zur Fehlerbehebung.

Link to this sectionSchritt 2: Exportieren von Ultralytics YOLO11#

Nach der Installation des Ultralytics-Pakets kannst du dein YOLO11-Modell laden und in das NCNN-Format exportieren. Das folgende Beispiel verwendet ein vortrainiertes Modell ("yolo11n.pt") und exportiert es im NCNN-Format, wobei die Ausgabe in einem Ordner namens "/yolo11n_ncnn_model" gespeichert wird.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="ncnn")

Das exportierte YOLO11-Modell kann dann auf verschiedenen leichtgewichtigen Geräten wie Smartphones, eingebetteten Systemen oder IoT-Plattformen eingesetzt werden. Der Bereitstellungsprozess ist zudem sehr schlank.

Betrachte beispielsweise den folgenden Code-Schnipsel, der zeigt, wie das exportierte Modell geladen und eine Inferenz durchgeführt wird. Unter Inferenz versteht man den Prozess, ein trainiertes Modell zu verwenden, um Vorhersagen für neue, unbekannte Daten zu treffen. In diesem Beispiel wird das Modell anhand eines Bildes getestet, auf dem ein Mann Fahrrad fährt, welches von einer öffentlich zugänglichen URL abgerufen wurde.

ncnn_model = YOLO("./yolo11n_ncnn_model")
results = ncnn_model("https://images.pexels.com/photos/19431209/pexels-photo-19431209/free-photo-of-a-man-riding-a-bike-on-a-road.jpeg?auto=compress&cs=tinysrgb&w=1260&h=750&dpr=2.jpg", save=True)

Nachdem du den Code ausgeführt hast, findest du das Ausgabebild im Ordner "runs/detect/predict".

Abb. 2. Objekterkennung mit einem exportierten YOLO11-Modell im NCNN-Format. Bild vom Autor.

Link to this sectionWarum Echtzeit-Erkennung mit NCNN wählen?#

Während du die verschiedenen Integrationen erkundest, die Ultralytics unterstützt, wirst du feststellen, dass es mehrere Exportoptionen gibt. Also, wann solltest du das NCNN-Format wählen?

Das NCNN-Exportformat ist eine zuverlässige Wahl, wenn du YOLO11-Modelle auf Geräten mit begrenzten Ressourcen bereitstellen musst. Es ist besonders nützlich für Echtzeitanwendungen, die direkt auf dem Gerät ausgeführt werden, wie z. B. Edge-Geräte, ohne dass eine Verbindung zur Cloud erforderlich ist. Das bedeutet, dass das Modell Aufgaben wie die Objekterkennung direkt vor Ort erledigen kann.

Hier sind einige häufige Szenarien, in denen NCNN eine großartige Lösung ist:

• Mobile Bereitstellung: Das NCNN-Format ist für Android und iOS optimiert, was es einfach macht, Modelle in mobile Apps für eine schnelle, geräteinterne Inferenz mit minimaler Latenz zu integrieren.

• Eingebettete Systeme und IoT-Geräte: Wenn du auf Geräten wie Raspberry Pi oder NVIDIA Jetson bereitstellst, kann der Export nach NCNN helfen, die Leistung und Reaktionsfähigkeit zu steigern.

• Desktop- und Server-Bereitstellung: Während NCNN ideal für Geräte mit geringem Stromverbrauch ist, unterstützt es auch Linux, Windows und macOS für Desktop- und Serverumgebungen. Dies bietet Entwicklern flexible Optionen für die Bereitstellung.

Abb. 3. Optionen für die Bereitstellung von YOLO11-Modellen mit NCNN. Bild vom Autor.

Link to this sectionAnwendungsfälle der YOLO11-Modellbereitstellung mit NCNN#

Lass uns nun in einige praktische Anwendungsfälle eintauchen, in denen der Export von YOLO11-Modellen nach NCNN einen echten Unterschied machen kann.

Link to this sectionVision-KI-Helme für die Brandbekämpfung#

Sicherheitshelme, die mit Kameras und eingebetteten Mikrocomputern ausgestattet sind, können in Bereichen wie Bauwesen und Brandbekämpfung eingesetzt werden, um Sicherheit und Bewusstsein zu verbessern. Echtzeit-Vision-KI-Modelle, wie YOLO11, können auf diesen Geräten ausgeführt werden, um verschiedene Arten von Objekten und Ausrüstung zu erkennen. Solche Helme können Feuerwehrleuten beispielsweise helfen, Personen, Hindernisse oder Gefahren bei schlechter Sicht zu erkennen.

Das Ausführen von Modellen in voller Größe direkt auf tragbaren Geräten kann jedoch zu langsamer Leistung führen und den Akku schnell entladen. In diesem Fall ist die Nutzung der NCNN-Integration eine kluge Wahl. Sie ermöglicht eine Inferenz mit niedriger Latenz und Energieeffizienz.

Link to this sectionAbfallklassifizierung und intelligente Mülleimer#

Ebenso können intelligente Mülleimer mit Kameras und kompakten Edge-KI-Prozessoren ausgestattet werden, um Materialien bei der Entsorgung zu identifizieren und zu sortieren. Vision-KI-Modelle wie YOLO11 können individuell trainiert werden, um verschiedene Arten von Abfallmaterialien wie Papier, Kunststoff, Gummi usw. zu erkennen.

Sobald der Abfall identifiziert ist, kann er basierend auf seiner Wiederverwendbarkeit automatisch in getrennte Fächer sortiert werden. Durch den Einsatz von Edge-KI zusammen mit exportierten YOLO11-Modellen im NCNN-Format können diese Mülleimer Daten lokal verarbeiten – ohne eine Internetverbindung zu benötigen. Dies ermöglicht es ihnen, autonom zu arbeiten und Sortierentscheidungen in Echtzeit mit minimaler Verzögerung zu treffen.

Abb. 4. Erkennen von Kunststoffabfällen mit YOLO11.

Link to this sectionRinderüberwachung mithilfe von Drohnen und Computer Vision#

Manchmal mangelt es landwirtschaftlichen Flächen an abgelegenen Standorten an stabilen Internetverbindungen oder sogar einer konsistenten Stromversorgung, was die Möglichkeit einschränkt, KI-Anwendungen online auszuführen. In solchen Fällen können Edge-Geräte und Drohnen verwendet werden, um eine Vielzahl von Aufgaben zu erledigen.

Ein gutes Beispiel ist die Überwachung von Viehbeständen wie Rindern, Schafen und Geflügel. Dies kann mithilfe von Vision-KI-Modellen wie YOLO11 erfolgen, die zur Verfolgung von Tierbewegungen, zur Erkennung von Anzeichen von Verletzungen, Krankheiten oder abnormalem Verhalten eingesetzt werden können, um Landwirte zu alarmieren, wenn Tiere vermisst werden. Die NCNN-Integration ermöglicht es zudem, diese Daten direkt auf Edge-Geräten auszuführen und zu verarbeiten, was sie zu einer großartigen Lösung für die Bild- und Videoanalyse auf Bauernhöfen in abgelegenen oder netzunabhängigen Gebieten macht.

Abb. 5. Ein Blick auf die Verwendung von YOLO11 zur Überwachung von Viehbeständen.

Link to this sectionWichtige Erkenntnisse#

Das Exportieren von YOLO11-Modellen mithilfe der von Ultralytics unterstützten NCNN-Integration ist ein einfacher Weg, Vision-KI in Umgebungen mit geringem Stromverbrauch zu bringen. Ob Drohnen in Katastrophengebieten, intelligente Müllsortierbehälter oder die Überwachung von Viehbeständen auf abgelegenen Farmen – YOLO und NCNN ermöglichen KI-Inferenzen in Echtzeit, die schnell, effizient und portabel sind. Dieser Ansatz hilft dabei, KI-Systeme zugänglicher und zuverlässiger zu machen, wenn es darauf ankommt.

Möchtest du mehr über KI erfahren? Erkunde unser GitHub-Repository, vernetze dich mit unserer Community und sieh dir unsere Lizenzoptionen an, um dein Computer-Vision-Projekt zu starten. Finde auf unseren Lösungsseiten heraus, wie Innovationen wie KI im Einzelhandel und Computer Vision im Gesundheitswesen die Zukunft gestalten.