Ultralytics YOLO11-Modelle in das NCNN-Modellformat exportieren

KI-Lösungen werden immer häufiger eingesetzt, auch in kritischen Bereichen wie Katastrophenmanagement, Abfallwirtschaft und Brandbekämpfung. Mit zunehmender Verbreitung werden KI-Modelle in immer vielfältigeren Umgebungen eingesetzt – nicht nur auf Servern oder in der Cloud, sondern direkt auf Geräten, die im Einsatz vor Ort betrieben werden.

Drohnen und Ausrüstung mit Edge-Komponenten, die von kleinen Prozessoren betrieben werden, können beispielsweise in Katastrophengebieten eine entscheidende Rolle spielen. Ausgestattet mit Wärmebildkameras können diese Geräte vor Ort Daten erfassen und analysieren, um unter Trümmern eingeschlossene Menschen zu lokalisieren. Möglich wird dies durch Computer Vision, einen Teilbereich der künstlichen Intelligenz, der visuelle Informationen aus Bildern und Videos interpretiert.

Die Bereitstellung von KI-Modellen für die Bildverarbeitung auf Edge-Geräten ist jedoch nicht so unkompliziert, wie es zunächst scheint. KI-Modelle müssen optimiert werden, damit sie effizient auf Hardware mit begrenzter Rechenleistung und begrenztem Speicher ausgeführt werden können. Deshalb sind KI-Frameworks wie NCNN unverzichtbar. Sie helfen dabei, Modelle für die Echtzeitleistung auf Geräten mit geringem Energieverbrauch zu konvertieren und zu optimieren, ohne die Genauigkeit zu beeinträchtigen.

Insbesondere Ultralytics YOLO-Modelle wie Ultralytics YOLO11 lassen sich mithilfe der von Ultralytics unterstützten NCNN-Integration problemlos in das NCNN-Modellformat exportieren. Die Konvertierung von YOLO11 in das NCNN-Modellformat ermöglicht eine schnellere Ausführung, einen geringeren Speicherverbrauch und einen reibungslosen Betrieb auf verschiedenen Geräten, ohne Genauigkeit einzubüßen.

In diesem Artikel sehen wir uns die von Ultralytics unterstützte NCNN-Integration an und zeigen dir, wie du dein YOLO11-Modell in das NCNN-Modellformat exportierst. Los geht’s!

Ein Überblick über NCNN: Ein leichtgewichtiges Framework für neuronale Netze#

NCNN ist ein von Tencent entwickeltes Open-Source-Framework für die Inferenz neuronaler Netze. Es wurde speziell für mobile Umgebungen und Edge-Umgebungen entwickelt und ermöglicht leistungsstarke Inferenz bei minimalem Ressourcenbedarf. Dadurch eignet es sich ideal für die Bereitstellung auf Geräten mit begrenzten Ressourcen, etwa Smartphones, Drohnen und IoT-Geräten (Internet der Dinge).

Das NCNN-Framework erfreut sich in der KI- und Deep-Learning-Community aufgrund seiner Effizienz, Portabilität und Optimierung für mobile CPUs (Zentraleinheiten) großer Beliebtheit. Es ermöglicht Entwicklern, Modelle neuronaler Netze auf kostengünstigen Geräten mit begrenztem Speicher und begrenzter Rechenleistung auszuführen. NCNN wurde einfach und flexibel konzipiert, unterstützt zahlreiche Computer-Vision-Modelle und läuft auf mehreren Plattformen, darunter Android, Linux, iOS und macOS.

Abb. 1. Modelle im NCNN-Format können auf zahlreichen Plattformen bereitgestellt werden.

Wichtige Funktionen von NCNN zur Leistungsoptimierung#

Hier sind einige der wichtigsten Funktionen, die NCNN zu einem leistungsfähigen und weit verbreiteten Framework für die Inferenz neuronaler Netze machen:

• Leichtgewichtige, hardwareunabhängige Laufzeitumgebung: Das NCNN-Framework ist für die Ausführung von Modellen auf herkömmlichen CPUs optimiert und benötigt keine spezielle Hardware wie GPUs (Grafikprozessoren) oder NPUs (Neuroprozessoren).
• Modellquantisierung: Für Anwendungen, bei denen Speicher und Geschwindigkeit entscheidend sind, unterstützt NCNN Quantisierungsmethoden, die die Modellgröße reduzieren und die Inferenzzeit verbessern. Dadurch lassen sich KI-Modelle auf mobilen und eingebetteten Geräten reibungslos ausführen.
• Open Source und zugänglich: Als Open-Source-Framework steht NCNN allen zur freien Nutzung, Anpassung und Verbesserung zur Verfügung. Das fördert Innovationen und eine breite Nutzung in unterschiedlichsten Anwendungsfällen.
• Aktive Entwicklung und Community: NCNN wird auf GitHub von Tencent und einer wachsenden Entwicklergemeinschaft aktiv gepflegt und regelmäßig aktualisiert. Dabei wird auch die Modellkompatibilität kontinuierlich verbessert.

Ultralytics YOLO11 in das NCNN-Modellformat exportieren: Eine kurze Anleitung#

Nachdem wir nun erläutert haben, was NCNN ist, sehen wir uns genauer an, wie du Ultralytics YOLO11-Modelle in das NCNN-Format exportierst.

Schritt 1: Das Ultralytics Python-Paket installieren#

Vor dem Export des Modells besteht der erste Schritt darin, das Ultralytics Python-Paket mit dem Paketinstallationsprogramm pip zu installieren. Führe dazu in deinem Terminal oder an der Eingabeaufforderung den Befehl "pip install ultralytics" aus. Wenn du in einem Jupyter Notebook oder Google Colab arbeitest, setze wie folgt ein Ausrufezeichen vor den Befehl: "!pip install ultralytics".

Das Ultralytics-Paket stellt Werkzeuge zum Trainieren, Testen, Feinabstimmen und Exportieren von KI-Modellen für die Bildverarbeitung und verschiedenste Computer-Vision-Aufgaben bereit. Falls während der Installation oder beim Export eines Modells Probleme auftreten, bieten die offizielle Ultralytics-Dokumentation und der Leitfaden zu häufigen Problemen hilfreiche Ressourcen zur Fehlerbehebung.

Schritt 2: Ultralytics YOLO11 exportieren#

Nach der Installation des Ultralytics-Pakets kannst du dein YOLO11-Modell laden und in das NCNN-Format exportieren. Das folgende Beispiel verwendet ein vortrainiertes Modell ("yolo11n.pt") und exportiert es in das NCNN-Format. Die Ausgabe wird in einem Ordner namens "/yolo11n_ncnn_model" gespeichert.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="ncnn")

Das exportierte Ultralytics YOLO11-Modell kann anschließend auf verschiedenen leichtgewichtigen Geräten wie Smartphones, eingebetteten Systemen oder IoT-Plattformen bereitgestellt werden. Auch der Bereitstellungsprozess ist sehr unkompliziert.

Betrachte beispielsweise den folgenden Codeausschnitt, der zeigt, wie du das exportierte Modell lädst und eine Inferenz ausführst. Inferenz bezeichnet den Prozess, bei dem ein trainiertes Modell verwendet wird, um Vorhersagen für neue, bisher unbekannte Daten zu treffen. In diesem Beispiel wird das Modell anhand eines Bildes eines Fahrrad fahrenden Mannes getestet, das von einer öffentlich zugänglichen URL abgerufen wird.

ncnn_model = YOLO("./yolo11n_ncnn_model")
results = ncnn_model("https://images.pexels.com/photos/19431209/pexels-photo-19431209/free-photo-of-a-man-riding-a-bike-on-a-road.jpeg?auto=compress&cs=tinysrgb&w=1260&h=750&dpr=2.jpg", save=True)

Nach der Ausführung des Codes findest du das Ausgabebild im Ordner "runs/detect/predict".

Abb. 2. Objekterkennung mit einem exportierten Ultralytics YOLO11-Modell im NCNN-Format. Bild des Autors.

Warum du dich für Echtzeiterkennung mit NCNN entscheiden solltest#

Wenn du die verschiedenen von Ultralytics unterstützten Integrationen erkundest, stellst du möglicherweise fest, dass mehrere Exportoptionen verfügbar sind. Wann solltest du dich also für das NCNN-Format entscheiden?

Das NCNN-Exportformat ist eine zuverlässige Wahl, wenn du Ultralytics YOLO11-Modelle auf Geräten mit begrenzten Ressourcen bereitstellen musst. Es eignet sich besonders für Echtzeitanwendungen, die direkt auf dem Gerät ausgeführt werden, etwa auf Edge-Geräten, ohne dass eine Verbindung zur Cloud erforderlich ist. Dadurch kann das Modell Aufgaben wie die Objekterkennung direkt vor Ort ausführen.

Hier sind einige typische Szenarien, für die NCNN besonders gut geeignet ist:

• Bereitstellung auf Mobilgeräten: Das NCNN-Format ist für Android und iOS optimiert und erleichtert die Integration von Modellen in mobile Apps für schnelle Inferenz direkt auf dem Gerät bei minimaler Latenz.

• Eingebettete Systeme und IoT-Geräte: Wenn du Modelle auf Geräten wie Raspberry Pi oder NVIDIA Jetson bereitstellst, kann der Export nach NCNN die Leistung und Reaktionsfähigkeit verbessern.

• Bereitstellung auf Desktop-Computern und Servern: NCNN eignet sich zwar hervorragend für Geräte mit geringem Energieverbrauch, unterstützt aber auch Linux, Windows und macOS für Desktop- und Serverumgebungen. Dadurch erhalten Entwickler flexible Möglichkeiten für die Bereitstellung.

Abb. 3. Optionen für die Bereitstellung von Ultralytics YOLO11-Modellen mit NCNN. Bild des Autors.

Anwendungsfälle für die Bereitstellung von Ultralytics YOLO11-Modellen mit NCNN#

Als Nächstes sehen wir uns einige praktische Anwendungsfälle an, in denen der Export von Ultralytics YOLO11-Modellen nach NCNN einen echten Unterschied machen kann.

Helme mit Computer Vision für die Brandbekämpfung#

Schutzhelme mit Kameras und eingebetteten Mikrocomputern können in Bereichen wie Bauwesen und Brandbekämpfung eingesetzt werden, um Sicherheit und Situationsbewusstsein zu verbessern. Echtzeitmodelle für Computer Vision wie Ultralytics YOLO11 können auf diesen Geräten ausgeführt werden, um verschiedene Arten von Objekten und Ausrüstung zu erkennen. So können solche Helme Feuerwehrleute beispielsweise dabei unterstützen, Menschen, Hindernisse oder Gefahren bei schlechter Sicht zu erkennen.

Die direkte Ausführung großer Modelle auf tragbaren Geräten kann jedoch zu einer langsamen Leistung führen und den Akku schnell entladen. In diesem Fall ist die Verwendung der NCNN-Integration eine gute Wahl. Sie ermöglicht eine Inferenz mit geringer Latenz und niedrigem Energieverbrauch.

Abfallsortierung und intelligente Abfallbehälter#

Ebenso können intelligente Abfallbehälter mit Kameras und kompakten Edge-KI-Prozessoren ausgestattet werden, um entsorgte Materialien zu erkennen und zu sortieren. Computer-Vision-Modelle wie YOLO11 können speziell trainiert werden, um verschiedene Arten von Abfallmaterialien wie Papier, Kunststoff, Gummi usw. zu erkennen.

Sobald der Abfall erkannt wurde, kann er je nach Wiederverwendbarkeit automatisch in getrennte Fächer sortiert werden. Durch die Kombination von Edge-KI mit exportierten Ultralytics YOLO11-Modellen im NCNN-Format können diese Behälter Daten lokal verarbeiten – ohne Internetverbindung. Dadurch können sie autonom arbeiten und Sortierentscheidungen in Echtzeit mit minimaler Verzögerung treffen.

Abb. 4. Erkennung von Kunststoffabfällen mit YOLO11.

Überwachung von Rindern mit Drohnen und Computer Vision#

In landwirtschaftlichen Gebieten an abgelegenen Orten fehlt manchmal der Zugang zu stabilen Internetverbindungen oder sogar zu einer zuverlässigen Stromversorgung. Dadurch ist die Ausführung von KI-Anwendungen online eingeschränkt. In solchen Fällen können Edge-Geräte und Drohnen für verschiedene Aufgaben eingesetzt werden.

Ein gutes Beispiel ist die Überwachung von Nutztieren wie Rindern, Schafen und Geflügel. Dafür können Computer-Vision-Modelle wie YOLO11 eingesetzt werden, um Tierbewegungen zu verfolgen, Anzeichen von Verletzungen, Krankheiten oder ungewöhnlichem Verhalten zu erkennen und Landwirte zu benachrichtigen, wenn Tiere verschwinden. Die NCNN-Integration ermöglicht außerdem die direkte Ausführung und Verarbeitung dieser Daten auf Edge-Geräten und eignet sich dadurch hervorragend für die Bild- und Videoanalyse auf Farmen in abgelegenen Gebieten oder an Orten ohne Netzanschluss.

Abb. 5. Einblick in die Überwachung von Nutztieren mit YOLO11.

Wichtige Erkenntnisse#

Der Export von YOLO11-Modellen mithilfe der von Ultralytics unterstützten NCNN-Integration ist eine unkomplizierte Möglichkeit, Computer Vision in Umgebungen mit geringem Energieverbrauch einzusetzen. Ob Drohnen in Katastrophengebieten, intelligente Abfallsortierbehälter oder die Überwachung von Nutztieren auf abgelegenen Farmen – YOLO und NCNN ermöglichen schnelle, effiziente und portable KI-Inferenzen in Echtzeit. Dieser Ansatz trägt dazu bei, KI-Systeme zugänglicher und zuverlässiger zu machen, wenn es besonders darauf ankommt.

Möchtest du mehr über KI erfahren? Sieh dir unser GitHub-Repository an, vernetze dich mit unserer Community und informiere dich über unsere Lizenzoptionen, um dein Computer-Vision-Projekt zu starten. Erfahre auf unseren Lösungsseiten, wie Innovationen wie KI im Einzelhandel und Computer Vision im Gesundheitswesen die Zukunft gestalten.