Exportieren von Ultralytics YOLO11 Modellen in das NCNN-Modellformat

KI-Lösungen werden immer häufiger eingesetzt, selbst in kritischen Bereichen wie dem Katastrophenschutz, der Abfallwirtschaft und der Brandbekämpfung. Da die Einführung weiter wächst, werden KI-Modelle in immer vielfältigeren Umgebungen eingesetzt – nicht nur auf Servern oder in der Cloud, sondern direkt auf Geräten, die im Feld arbeiten.

Beispielsweise können Drohnen und Geräte mit Edge-Komponenten, die von kleinen Prozessoren angetrieben werden, in Katastrophengebieten eine entscheidende Rolle spielen. Ausgestattet mit Wärmebildkameras können diese Geräte vor Ort Daten erfassen und analysieren, um unter Trümmern verschüttete Menschen zu orten. Dies wird durch Computer Vision ermöglicht, einem Zweig der künstlichen Intelligenz, der visuelle Informationen aus Bildern und Videos interpretiert.

Die Bereitstellung von Vision-KI-Modellen auf Edge-Geräten ist jedoch nicht so einfach, wie es scheinen mag. KI-Modelle müssen optimiert werden, um auf Hardware mit begrenzter Rechenleistung und geringem Arbeitsspeicher effizient zu laufen. Deshalb sind KI-Frameworks wie NCNN unverzichtbar. Sie helfen dabei, Modelle für Echtzeitleistung auf Geräten mit geringem Energieverbrauch zu konvertieren und zu optimieren, ohne dabei an Genauigkeit einzubüßen.

Insbesondere Ultralytics YOLO-Modelle wie Ultralytics YOLO11 lassen sich mithilfe der von Ultralytics unterstützten NCNN-Integration problemlos in das NCNN-Modellformat exportieren. Die Konvertierung von YOLO11 in das NCNN-Modellformat ermöglicht es dem Modell, schneller zu laufen, weniger Speicher zu verbrauchen und auf verschiedenen Geräten reibungslos zu funktionieren, ohne an Genauigkeit zu verlieren.

In diesem Artikel werden wir die von Ultralytics unterstützte NCNN-Integration untersuchen und durchgehen, wie du dein YOLO11-Modell in das NCNN-Modellformat exportieren kannst. Fangen wir an!

Ein Überblick über NCNN: Ein leichtgewichtiges Framework für neuronale Netze#

NCNN ist ein Open-Source-Inferenz-Framework für neuronale Netze, das von Tencent entwickelt wurde. Es wurde speziell für mobile und Edge-Umgebungen konzipiert und ermöglicht eine leistungsstarke Inferenz bei minimalem Platzbedarf. Dies macht es ideal für den Einsatz auf ressourcenbeschränkten Geräten wie Smartphones, Drohnen und IoT-Geräten (Internet of Things).

Das NCNN-Framework hat in der KI- und Deep-Learning-Community aufgrund seiner Effizienz, Portabilität und Optimierung für mobile CPUs (Central Processing Units) an Beliebtheit gewonnen. Es ermöglicht Entwicklern, neuronale Netzwerkmodelle auf kostengünstigen Geräten mit begrenztem Speicher und begrenzter Rechenleistung auszuführen. NCNN ist auf Einfachheit und Flexibilität ausgelegt, unterstützt eine Vielzahl von Computer-Vision-Modellen und läuft auf mehreren Plattformen, darunter Android, Linux, iOS und macOS.

Abb. 1. Modelle im NCNN-Format können auf vielen Plattformen eingesetzt werden.

Hauptmerkmale der NCNN-Leistungsoptimierung#

Hier sind einige der wichtigsten Funktionen, die NCNN zu einem einflussreichen und weit verbreiteten Inferenz-Framework für neuronale Netze machen:

• Leichtgewichtige, hardwareunabhängige Laufzeit: Das NCNN-Framework ist für die Ausführung von Modellen auf Standard-CPUs optimiert und erfordert keine spezialisierte Hardware wie GPUs (Grafikprozessoren) oder NPUs (neurale Prozessoren).
• Modellquantisierung: Für Anwendungen, bei denen Speicher und Geschwindigkeit entscheidend sind, unterstützt NCNN Quantisierungsmethoden, die die Modellgröße reduzieren und die Inferenzzeit verbessern. Dies trägt dazu bei, KI-Modelle reibungslos auf mobilen und eingebetteten Geräten auszuführen.
• Open Source und zugänglich: Als Open-Source-Framework ist NCNN für jeden frei verfügbar, um es zu nutzen, zu modifizieren und zu verbessern. Dies fördert Innovation und eine breite Akzeptanz in verschiedenen Anwendungsbereichen.
• Aktive Entwicklung und Community: NCNN wird auf GitHub von Tencent und einer wachsenden Entwickler-Community aktiv gepflegt, mit regelmäßigen Updates und Verbesserungen der Modellkompatibilität.

Exportieren von Ultralytics YOLO11 in das NCNN-Modellformat: Eine Kurzanleitung#

Nu da wir besprochen haben, was NCNN ist, schauen wir uns genauer an, wie du Ultralytics YOLO11-Modelle in das NCNN-Format exportieren kannst.

Schritt 1: Installiere das Ultralytics Python-Paket#

Vor dem Exportieren des Modells besteht der erste Schritt darin, das Ultralytics Python-Paket mit dem Paketinstaller pip zu installieren. Dies kann durch Ausführen von „pip install ultralytics“ in deinem Terminal oder deiner Eingabeaufforderung erfolgen. Wenn du in einem Jupyter Notebook oder Google Colab arbeitest, füge ein Ausrufezeichen vor den Befehl ein, etwa so: „!pip install ultralytics“.

Das Ultralytics-Paket bietet Tools zum Trainieren, Testen, Fine-Tunen und Exportieren von Vision-KI-Modellen für eine Vielzahl von Computer-Vision-Aufgaben. Wenn während der Installation oder beim Exportieren eines Modells Probleme auftreten, sind die offizielle Dokumentation von Ultralytics und der leitfaden zu häufige probleme hervorragende Ressourcen zur Fehlerbehebung.

Schritt 2: Exportieren von Ultralytics YOLO11#

Nach der Installation des Ultralytics-Pakets kannst du dein YOLO11-Modell laden und in das NCNN-Format exportieren. Das folgende Beispiel verwendet ein vortrainiertes Modell ("yolo11n.pt") und exportiert es im NCNN-Format, wobei die Ausgabe in einem Ordner namens "/yolo11n_ncnn_model" gespeichert wird.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="ncnn")

Das exportierte Ultralytics YOLO11-Modell kann dann auf verschiedenen leichten Geräten wie Smartphones, eingebetteten Systemen oder IoT-Plattformen bereitgestellt werden. Der Bereitstellungsprozess ist zudem sehr schlank.

Betrachte beispielsweise den folgenden Code-Schnipsel, der zeigt, wie das exportierte Modell geladen und eine Inferenz durchgeführt wird. Unter Inferenz versteht man den Prozess, ein trainiertes Modell zu verwenden, um Vorhersagen für neue, unbekannte Daten zu treffen. In diesem Beispiel wird das Modell anhand eines Bildes getestet, auf dem ein Mann Fahrrad fährt, welches von einer öffentlich zugänglichen URL abgerufen wurde.

ncnn_model = YOLO("./yolo11n_ncnn_model")
results = ncnn_model("https://images.pexels.com/photos/19431209/pexels-photo-19431209/free-photo-of-a-man-riding-a-bike-on-a-road.jpeg?auto=compress&cs=tinysrgb&w=1260&h=750&dpr=2.jpg", save=True)

Nachdem du den Code ausgeführt hast, findest du das Ausgabebild im Ordner "runs/detect/predict".

Abb. 2: Objekterkennung mit einem exportierten Ultralytics YOLO11-Modell im NCNN-Format. Bild vom Autor.

Warum Echtzeit-Erkennung mit NCNN wählen?#

Wenn du die verschiedenen Integrationen erkundest, die Ultralytics unterstützt, wirst du feststellen, dass es mehrere Exportoptionen gibt. Wann solltest du also das NCNN-Format wählen?

Das NCNN-Exportformat ist eine zuverlässige Wahl, wenn du Ultralytics YOLO11-Modelle auf ressourcenbeschränkten Geräten bereitstellen musst. Es ist besonders nützlich für Echtzeitanwendungen, die direkt auf dem Gerät wie Edge-Geräten laufen, ohne eine Verbindung zur Cloud zu benötigen. Das bedeutet, dass das Modell Aufgaben wie die Objekterkennung direkt vor Ort verarbeiten kann.

Hier sind einige häufige Szenarien, in denen NCNN eine großartige Lösung ist:

• Mobile Bereitstellung: Das NCNN-Format ist für Android und iOS optimiert, was es einfach macht, Modelle in mobile Apps für eine schnelle, geräteinterne Inferenz mit minimaler Latenz zu integrieren.

• Eingebettete Systeme und IoT-Geräte: Wenn du auf Geräten wie Raspberry Pi oder NVIDIA Jetson bereitstellst, kann der Export nach NCNN helfen, die Leistung und Reaktionsfähigkeit zu steigern.

• Desktop- und Server-Bereitstellung: Während NCNN ideal für Geräte mit geringem Stromverbrauch ist, unterstützt es auch Linux, Windows und macOS für Desktop- und Serverumgebungen. Dies bietet Entwicklern flexible Optionen für die Bereitstellung.

Abb. 3: Optionen für die Bereitstellung von Ultralytics YOLO11-Modellen mit NCNN. Bild vom Autor.

Anwendungsfälle für die Bereitstellung von Ultralytics YOLO11-Modellen mit NCNN#

Als Nächstes tauchen wir in einige praktische Anwendungsfälle ein, bei denen der Export von Ultralytics YOLO11-Modellen nach NCNN einen echten Unterschied machen kann.

Vision-KI-Helme für die Brandbekämpfung#

Mit Kameras und eingebetteten Mikrocomputern ausgestattete Schutzhelme können in Bereichen wie construction und Brandbekämpfung eingesetzt werden, um Sicherheit und Bewusstsein zu verbessern. Echtzeit-Vision-KI-Modelle wie Ultralytics YOLO11 können auf diesen Geräten ausgeführt werden, um verschiedene Arten von Objekten und Ausrüstung zu erkennen. Solche Helme können Feuerwehrleuten beispielsweise helfen, Personen, Hindernisse oder Gefahren bei schlechten Sichtverhältnissen zu erkennen.

Das Ausführen von Modellen in voller Größe direkt auf tragbaren Geräten kann jedoch zu langsamer Leistung führen und den Akku schnell entladen. In diesem Fall ist die Nutzung der NCNN-Integration eine kluge Wahl. Sie ermöglicht eine Inferenz mit niedriger Latenz und Energieeffizienz.

Abfallklassifizierung und intelligente Mülleimer#

Ebenso können intelligente Mülleimer mit Kameras und kompakten Edge-KI-Prozessoren ausgestattet werden, um Materialien beim Wegwerfen zu erkennen und zu sortieren. Vision-KI-Modelle wie YOLO11 können maßgeschneidert trainiert werden, um verschiedene Arten von Abfallmaterialien wie Papier, Kunststoff, Gummi usw. zu erkennen.

Sobald der Abfall identifiziert ist, kann er basierend auf seiner Wiederverwendbarkeit automatisch in separate Fächer sortiert werden. Durch den Einsatz von Edge-KI zusammen mit exportierten Ultralytics YOLO11-Modellen im NCNN-Format können diese Mülleimer Daten lokal verarbeiten - ganz ohne Internetverbindung. Dadurch können sie autonom arbeiten und Echtzeit-Sortierentscheidungen mit minimaler Verzögerung treffen.

Abb. 4. Erkennung von Plastikmüll mit YOLO11.

Rinderüberwachung mithilfe von Drohnen und Computer Vision#

Manchmal mangelt es landwirtschaftlichen Flächen an abgelegenen Standorten an stabilen Internetverbindungen oder sogar einer konsistenten Stromversorgung, was die Möglichkeit einschränkt, KI-Anwendungen online auszuführen. In solchen Fällen können Edge-Geräte und Drohnen verwendet werden, um eine Vielzahl von Aufgaben zu erledigen.

Ein gutes Beispiel ist die Überwachung von Nutztieren wie Rindern, Schafen und Geflügel. Dies kann mithilfe von Vision-KI-Modellen wie YOLO11 erfolgen, mit denen Tierbewegungen verfolgt, Anzeichen von Verletzungen, Krankheiten oder abnormalem Verhalten erkannt und Landwirte gewarnt werden können, wenn Tiere vermisst werden. Die NCNN-Integration ermöglicht es auch, diese Daten direkt auf Edge-Geräten auszuführen und zu verarbeiten, was sie ideal für die Bild- und Videoanalyse auf Bauernhöfen in abgelegenen oder netzfernen Gebieten macht.

Abb. 5. Ein Einblick in die Verwendung von YOLO11 zur Überwachung von Nutztieren.

Wichtige Erkenntnisse#

Das Exportieren von YOLO11-Modellen mithilfe der von Ultralytics unterstützten NCNN-Integration ist ein einfacher Weg, Vision-KI in Umgebungen mit geringem Stromverbrauch zu bringen. Ob Drohnen in Katastrophengebieten, intelligente Müllsortierbehälter oder die Überwachung von Viehbeständen auf abgelegenen Farmen – YOLO und NCNN ermöglichen KI-Inferenzen in Echtzeit, die schnell, effizient und portabel sind. Dieser Ansatz hilft dabei, KI-Systeme zugänglicher und zuverlässiger zu machen, wenn es darauf ankommt.

Möchtest du mehr über KI erfahren? Erkunde unser GitHub-Repository, vernetze dich mit unserer Community und sieh dir unsere Lizenzierungsoptionen an, um dein Computer-Vision-Projekt zu starten. Finde auf unseren Lösungsseiten heraus, wie Innovationen wie KI im Einzelhandel und Computer Vision im Gesundheitswesen die Zukunft prägen.