18. Juni 2025
Exportieren Sie Ultralytics YOLOv8 Modelle in das NCNN-Modellformat, um effiziente KI-Inferenzen mit niedriger Latenz auf Edge-Geräten mit begrenzten Energie- und Rechenressourcen auszuführen.
KI-Lösungen werden immer häufiger, selbst in risikoreichen Sektoren wie Katastrophenmanagement, Abfallwirtschaft und Brandbekämpfung. Da die Akzeptanz weiter zunimmt, werden KI-Modelle in vielfältigeren Umgebungen eingesetzt - nicht nur auf Servern oder in der Cloud, sondern direkt auf Geräten, die im Feld arbeiten.
Beispielsweise können Drohnen und Geräte mit Edge-Komponenten, die von kleinen Prozessoren angetrieben werden, in Katastrophengebieten eine entscheidende Rolle spielen. Ausgestattet mit Wärmebildkameras können diese Geräte Daten vor Ort sammeln und analysieren, um Menschen zu lokalisieren, die unter Trümmern eingeschlossen sind. Dies wird durch Computer Vision ermöglicht, einem Zweig der künstlichen Intelligenz, der visuelle Informationen aus Bildern und Videos interpretiert.
Die Bereitstellung von Vision-AI-Modellen auf Edge-Geräten ist jedoch nicht so einfach, wie es scheint. KI-Modelle müssen optimiert werden, um effizient auf Hardware mit begrenzter Rechenleistung und Speicher zu laufen. Deshalb sind KI-Frameworks wie NCNN unerlässlich. Sie helfen, Modelle für die Echtzeit-Performance auf Low-Power-Geräten zu konvertieren und zu optimieren, ohne die Genauigkeit zu beeinträchtigen.
Insbesondere können Ultralytics YOLO-Modelle wie Ultralytics YOLO11 einfach in das NCNN-Modellformat exportiert werden, indem die von Ultralytics unterstützte NCNN-Integration verwendet wird. Die Konvertierung von YOLO11 in das NCNN-Modellformat ermöglicht es dem Modell, schneller zu laufen, weniger Speicher zu verbrauchen und reibungslos auf verschiedenen Geräten zu funktionieren, ohne die Genauigkeit zu verlieren.
In diesem Artikel werden wir die von Ultralytics unterstützte NCNN-Integration untersuchen und Schritt für Schritt erklären, wie Sie Ihr YOLO11-Modell in das NCNN-Modellformat exportieren können. Los geht's!
NCNN ist ein von Tencent entwickeltes Open-Source-Framework für die Inferenz neuronaler Netze. Es wurde speziell für mobile und Edge-Umgebungen entwickelt und ermöglicht eine hochleistungsfähige Inferenz mit minimalem Footprint. Dies macht es ideal für den Einsatz auf ressourcenbeschränkten Geräten wie Smartphones, Drohnen und IoT-Geräten (Internet der Dinge).
Das NCNN-Framework hat in der KI- und Deep-Learning-Community aufgrund seiner Effizienz, Portabilität und Optimierung für mobile CPUs (Central Processing Units) an Popularität gewonnen. Es ermöglicht Entwicklern, neuronale Netzwerkmodelle auf erschwinglichen Geräten mit begrenztem Speicher und Rechenleistung auszuführen. NCNN ist einfach und flexibel konzipiert und unterstützt eine breite Palette von Computer Vision Modellen und läuft auf verschiedenen Plattformen, darunter Android, Linux, iOS und macOS.
Hier sind einige der wichtigsten Funktionen, die NCNN zu einem wirkungsvollen und weit verbreiteten Framework für die Inferenz neuronaler Netze machen:
Nachdem wir nun besprochen haben, was NCNN ist, wollen wir uns genauer ansehen, wie man YOLO11-Modelle in das NCNN-Format exportiert.
Vor dem Export des Modells muss zunächst das Ultralytics Python-Paket mit dem Paket-Installer pip installiert werden. Dies kann durch Ausführen von "pip install ultralytics" in Ihrem Terminal oder Ihrer Eingabeaufforderung erfolgen. Wenn Sie in einem Jupyter Notebook oder Google Colab arbeiten, fügen Sie ein Ausrufezeichen vor dem Befehl hinzu, wie hier: "!pip install ultralytics".
Das Ultralytics-Paket bietet Tools zum Trainieren, Testen, Feinabstimmen und Exportieren von Vision AI-Modellen für eine Vielzahl von Computer-Vision-Aufgaben. Wenn Sie während der Installation oder beim Exportieren eines Modells auf Probleme stoßen, sind die offizielle Ultralytics-Dokumentation und der Leitfaden zu häufigen Problemen großartige Ressourcen zur Fehlerbehebung.
Nach der Installation des Ultralytics-Pakets können Sie Ihr YOLO11-Modell laden und in das NCNN-Format exportieren. Das folgende Beispiel verwendet ein vortrainiertes Modell („yolo11n.pt“) und exportiert es im NCNN-Format, wobei die Ausgabe in einem Ordner namens „/yolo11n_ncnn_model“ gespeichert wird.
from ultralytics import YOLO
model = YOLO("yolo11n.pt")
model.export(format="ncnn") Das exportierte YOLO11-Modell kann dann auf verschiedenen ressourcenschonenden Geräten wie Smartphones, eingebetteten Systemen oder IoT-Plattformen eingesetzt werden. Der Bereitstellungsprozess ist ebenfalls sehr effizient.
Betrachten Sie beispielsweise den folgenden Code-Ausschnitt, der zeigt, wie das exportierte Modell geladen und Inferenz ausgeführt wird. Inferenz bezieht sich auf den Prozess der Verwendung eines trainierten Modells, um Vorhersagen über neue, unbekannte Daten zu treffen. In diesem Beispiel wird das Modell an einem Bild eines Fahrrad fahrenden Mannes getestet, das von einer öffentlich zugänglichen URL abgerufen wurde.
ncnn_model = YOLO("./yolo11n_ncnn_model")
results = ncnn_model("https://images.pexels.com/photos/19431209/pexels-photo-19431209/free-photo-of-a-man-riding-a-bike-on-a-road.jpeg?auto=compress&cs=tinysrgb&w=1260&h=750&dpr=2.jpg", save=True)Nachdem Sie den Code ausgeführt haben, finden Sie das Ausgabebild im Ordner „runs/detect/predict“.
Wenn Sie die verschiedenen von Ultralytics unterstützten Integrationen erkunden, werden Sie feststellen, dass verschiedene Exportoptionen verfügbar sind. Wann sollten Sie also das NCNN-Format wählen?
Das NCNN-Exportformat ist eine zuverlässige Wahl, wenn Sie YOLO11-Modelle auf Geräten mit begrenzten Ressourcen bereitstellen müssen. Es ist besonders nützlich für Echtzeit-Anwendungen, die direkt auf dem Gerät laufen, wie z. B. Edge-Geräte, ohne dass eine Verbindung zur Cloud erforderlich ist. Das bedeutet, dass das Modell Aufgaben wie die Objekterkennung direkt vor Ort erledigen kann.
Hier sind einige gängige Szenarien, in denen NCNN sehr gut geeignet ist:
Als Nächstes wollen wir uns einige praktische Anwendungsfälle ansehen, bei denen der Export von YOLO11-Modellen nach NCNN einen echten Unterschied machen kann.
Sicherheitshelme, die mit Kameras und eingebetteten Mikrocomputern ausgestattet sind, können in Bereichen wie dem Bauwesen und der Brandbekämpfung eingesetzt werden, um die Sicherheit und das Bewusstsein zu verbessern. Echtzeit-Vision-KI-Modelle wie YOLO11 können auf diesen Geräten ausgeführt werden, um verschiedene Arten von Objekten und Ausrüstungen zu erkennen. Zum Beispiel können solche Helme Feuerwehrleuten helfen, Personen, Hindernisse oder Gefahren bei schlechten Sichtverhältnissen zu erkennen.
Die direkte Ausführung von Modellen in voller Größe auf tragbaren Geräten kann jedoch zu einer langsamen Leistung führen und den Akku schnell entladen. In diesem Fall ist die Verwendung der NCNN-Integration eine gute Wahl. Sie ermöglicht Inferenz mit niedriger Latenz und hoher Energieeffizienz.
In ähnlicher Weise können intelligente Mülleimer mit Kameras und kompakten Edge-KI-Prozessoren integriert werden, um Materialien bei der Entsorgung zu identifizieren und zu sortieren. Vision-KI-Modelle wie YOLO11 können kundenspezifisch trainiert werden, um verschiedene Arten von Abfallmaterialien wie Papier, Plastik, Gummi usw. zu erkennen.
Sobald der Abfall identifiziert ist, kann er automatisch nach Wiederverwertbarkeit in separate Behälter sortiert werden. Durch die Verwendung von Edge AI zusammen mit exportierten YOLO11-Modellen im NCNN-Format können diese Behälter Daten lokal verarbeiten - ohne dass eine Internetverbindung erforderlich ist. Dies ermöglicht es ihnen, autonom zu arbeiten und Echtzeit-Sortierentscheidungen mit minimaler Verzögerung zu treffen.
In abgelegenen Regionen haben landwirtschaftliche Gebiete oft keinen Zugang zu stabilen Internetverbindungen oder sogar zu einer konstanten Stromversorgung, was ihre Möglichkeiten zur Online-Nutzung von KI-Anwendungen einschränkt. In solchen Fällen können Edge-Geräte und Drohnen für eine Vielzahl von Aufgaben eingesetzt werden.
Ein gutes Beispiel ist die Überwachung von Nutztieren wie Rindern, Schafen und Geflügel. Dies kann mit Vision-KI-Modellen wie YOLOv8 erfolgen, die verwendet werden können, um Tierbewegungen zu verfolgen, Anzeichen von Verletzungen, Krankheiten oder abnormalem Verhalten zu erkennen und Landwirte zu benachrichtigen, wenn Tiere vermisst werden. Die NCNN-Integration ermöglicht es auch, diese Daten direkt auf Edge-Geräten auszuführen und zu verarbeiten, was sie zu einer großartigen Lösung für die Bild- und Videoanalyse auf Bauernhöfen in abgelegenen oder netzunabhängigen Gebieten macht.
Das Exportieren von YOLOv8-Modellen mithilfe der von Ultralytics unterstützten NCNN-Integration ist eine unkomplizierte Möglichkeit, Vision AI in Low-Power-Umgebungen zu bringen. Ob Drohnen in Katastrophengebieten, intelligente Mülltrennungssysteme oder die Überwachung von Nutztieren in abgelegenen Farmen, YOLO und NCNN ermöglichen Echtzeit-KI-Inferenzen, die schnell, effizient und portabel sind. Dieser Ansatz trägt dazu bei, KI-Systeme zugänglicher und zuverlässiger zu machen, wenn es darauf ankommt.
Möchten Sie mehr über KI erfahren? Erkunden Sie unser GitHub-Repository, vernetzen Sie sich mit unserer Community und informieren Sie sich über unsere Lizenzoptionen, um Ihr Computer-Vision-Projekt zu starten. Erfahren Sie auf unseren Lösungsseiten, wie Innovationen wie KI im Einzelhandel und Computer Vision im Gesundheitswesen die Zukunft gestalten.
.webp)