Verwendung der ONNX für den Export von Ultralytics YOLO

Als KI-Lösungen zum ersten Mal Aufmerksamkeit erregten, wurden die meisten Modelle auf leistungsstarken Servern in kontrollierten Umgebungen eingesetzt. Mit dem technologischen Fortschritt hat sich der Einsatz jedoch weit über das Rechenzentrum hinaus ausgedehnt.

Heutzutage laufen KI-Modelle auf allem, von Cloud-Servern und Desktops bis hin zu Smartphones und Edge-Geräten. Diese Verlagerung unterstützt eine schnellere Verarbeitung, Offline-Funktionalität und intelligentere Systeme, die näher an der Stelle arbeiten, an der die Daten generiert werden.

Ein Bereich, in dem dies besonders deutlich wird, ist Computer Vision - ein Zweig der KI, der es Maschinen ermöglicht, visuelle Daten zu interpretieren. Sie wird verwendet, um Anwendungen wie Gesichtserkennung, autonomes Fahren und Echtzeit-Videoanalyse voranzutreiben. Mit dem Wachstum dieser Anwendungsfälle wächst auch der Bedarf an Modellen, die reibungslos auf verschiedenen Hardware- und Plattformen laufen können.

Aber die Bereitstellung von Computer-Vision-Modellen für eine Reihe von Bereitstellungszielen ist nicht immer einfach. Die Geräte unterscheiden sich in Bezug auf Hardware, Betriebssysteme und unterstützte Frameworks, was Flexibilität und Kompatibilität unerlässlich macht.

Aus diesem Grund ist die Möglichkeit, Computer-Vision-Modelle wie Ultralytics YOLO11 in verschiedene Formate zu exportieren, von entscheidender Bedeutung. So bietet beispielsweise die von Ultralytics unterstützte ONNX (Open Neural Network Exchange) eine praktische Möglichkeit, die Lücke zwischen Training und Bereitstellung zu schließen. ONNX ist ein offenes Format, das Modelle plattformunabhängig und einsatzbereit macht.

‍

In diesem Artikel werfen wir einen genaueren Blick auf die von Ultralytics unterstützte ONNX und untersuchen, wie Sie Ihr YOLO11 für eine flexible, plattformübergreifende Bereitstellung exportieren können.

Was ist ONNX und ONNX Runtime?

Open Neural Network Exchange ist ein Open-Source-Projekt, das ein Standardformat für Modelle für maschinelles Lernen definiert. Ursprünglich von Microsoft und Facebook entwickelt, ermöglicht es Entwicklern, ein Modell in einem Framework wie PyTorch zu trainieren und es in einem anderen wie TensorFlow auszuführen. Dies macht die KI-Entwicklung flexibler, kollaborativer und zugänglicher, insbesondere in Bereichen wie Computer Vision.

ONNX bietet einen gemeinsamen Satz von Operatoren und ein einheitliches Dateiformat, wodurch es einfacher wird, Modelle zwischen verschiedenen Tools, Frameworks, Laufzeiten und Compilern zu übertragen. Normalerweise ist ein Modell, das in einem Framework trainiert wurde, nicht ohne Weiteres mit einem anderen kompatibel - aber mit ONNX können Sie Ihr Modell einmal exportieren und es fast überall einsetzen: auf CPUs (Central Processing Units), GPUs (Graphics Processing Units), mobilen Geräten oder Edge-Hardware.

ONNX Runtime ist eine leistungsstarke Inferenzmaschine, die speziell für die Ausführung von Modellen im ONNX entwickelt wurde. Sie wurde entwickelt, um ONNX schneller und effizienter auf einer Vielzahl von Plattformen laufen zu lassen - einschließlich Servern, mobilen Geräten und Edge-Hardware. ONNX Runtime ist mit beliebten Frameworks wie PyTorch, TensorFlow, TensorFlow Lite und scikit-learn kompatibel, was die Integration in verschiedene Arbeitsabläufe und die Bereitstellung von Modellen überall dort, wo sie benötigt werden, erleichtert.

‍

Hauptmerkmale von ONNX 

Bevor wir besprechen, wie man YOLO11 in das ONNX exportiert, wollen wir uns einige wichtige Merkmale des ONNX ansehen. 

Ganz gleich, ob Sie zwischen verschiedenen Tools wechseln, auf verschiedenen Geräten einsetzen oder Systeme aktualisieren, ONNX sorgt für einen reibungslosen Ablauf. Das macht das ONNX so einzigartig:

• Ein Standardformat: ONNX verwendet eine einheitliche Methode, um zu beschreiben, wie Modelle aufgebaut sind, z. B. Ebenen und Operationen (man kann sie sich als Bausteine vorstellen). Wenn ein Modell in ONNX konvertiert wird, folgt es diesem Standard, so dass jedes System, das ONNX unterstützt, es verstehen und ausführen kann.

• Abwärtskompatibilität: Auch wenn ONNX ständig verbessert wird, ist sichergestellt, dass ältere Modelle weiterhin mit neueren Versionen funktionieren. Das bedeutet, dass Sie Ihre Modelle nicht jedes Mal neu trainieren oder erstellen müssen, wenn ONNX ein Update erhält.

• Graphenbasierter Modellentwurf: ONNX sind als Berechnungsgraphen strukturiert, wobei jeder Knoten eine Operation (z. B. eine Schicht oder eine mathematische Funktion) darstellt und die Kanten den Datenfluss anzeigen. Dieses graphenbasierte Design erleichtert die Integration mit verschiedenen Systemen, die ähnliche Berechnungsgraphenstrukturen verwenden.

• Entwicklerfreundliche Tools: Es wird mit einer breiten Palette von Tools geliefert, mit denen Sie Ihre Modelle konvertieren, validieren und optimieren können. Diese Tools vereinfachen den Prozess der Übertragung von Modellen zwischen verschiedenen Frameworks und können die Bereitstellung beschleunigen - insbesondere für Computer Vision Anwendungen.

Ein Überblick über die ONNX

Das Exportieren von Ultralytics YOLO wie Ultralytics YOLO11 im ONNX ist einfach und kann in wenigen Schritten durchgeführt werden. 

Um loszulegen, installieren Sie das Python mit einem Paketmanager wie "pip". Führen Sie dazu den Befehl "pip install ultralytics" in Ihrer Eingabeaufforderung oder Ihrem Terminal aus.

Mit dem Ultralytics können Sie auf einfache Weise Modelle für verschiedene Computer-Vision-Aufgaben trainieren, testen, feinabstimmen, exportieren und einsetzen - und so den gesamten Prozess schneller und effizienter gestalten. Sollten Sie bei der Installation auf Schwierigkeiten stoßen, finden Sie im Leitfaden für allgemeine Probleme Lösungen und Tipps.

Sobald das Ultralytics installiert ist, können Sie das YOLO11 mit dem unten stehenden Code in das ONNX laden und exportieren. Dieses Beispiel lädt ein vorab trainiertes YOLO11 (yolo11n.pt) und exportiert es als ONNX (yolo11nonnx), so dass es für den Einsatz auf verschiedenen Plattformen und Geräten bereit ist.

‍

Nachdem Sie Ihr Modell in das ONNX konvertiert haben, können Sie es auf einer Vielzahl von Plattformen einsetzen. 

Das folgende Beispiel zeigt, wie man das exportierte YOLO11 (yolo11nonnx) lädt und eine Inferenz mit ihm durchführt. Inferenzierung bedeutet einfach, dass das trainierte Modell verwendet wird, um Vorhersagen für neue Daten zu treffen. In diesem Fall verwenden wir die URL eines Bildes von einem Bus, um das Modell zu testen.

‍

Wenn Sie diesen Code ausführen, wird das folgende Ausgabebild im Ordner detect gespeichert.

‍

Wann sollten Sie sich für die ONNX entscheiden?

Das Ultralytics Python unterstützt den Export von Modellen in verschiedene Formate, darunter TorchScript, CoreML, TensorRT und ONNX. Warum also ONNX wählen?

ONNX zeichnet sich dadurch aus, dass es sich um ein rahmenunabhängiges Format handelt. Während viele andere Exportformate an bestimmte Tools oder Umgebungen gebunden sind, verwendet ONNX ein standardisiertes Format und einen gemeinsamen Satz von Operatoren. Dadurch ist es hochgradig portabel, hardwarefreundlich und ideal für die plattformübergreifende Bereitstellung - egal, ob Sie mit Cloud-Servern, mobilen Apps oder Edge-Geräten arbeiten. 

Hier sind einige Gründe, warum die ONNX die ideale Wahl für Ihre YOLO11 sein könnte:

• Portabler Einsatz: Einmal in ONNX exportiert, kann Ihr YOLO11 auf verschiedenen Plattformen eingesetzt werden, ohne dass der Code geändert oder neu trainiert werden muss.

• Branchenweite Unterstützung: ONNX wird von großen KI-Unternehmen und -Frameworks unterstützt, was es zu einem zuverlässigen, weithin akzeptierten Format macht. Es gewährleistet langfristige Kompatibilität, ähnlich wie PDFs auf verschiedenen Geräten funktionieren.

• Zukunftssichere Entwicklung: Mit ONNX schützen Sie Ihre Modellinvestitionen. ONNX sorgt dafür, dass Ihre Modelle auch in neuen oder veränderten Umgebungen relevant und nutzbar bleiben, wenn sich die Tools weiterentwickeln.

• Keine Bindung an einen bestimmten Anbieter: Einige Tools binden Sie an das jeweilige System, was die Möglichkeiten Ihres Modells einschränken kann. ONNX vermeidet dies, indem es Ihnen die Wahl der Plattform überlässt, die für Ihre Bedürfnisse am besten geeignet ist, ohne dass Sie an eine einzige Einrichtung gebunden sind.

Anwendungen von YOLO11 und dem ONNX

Als Nächstes wollen wir uns einige reale Anwendungen ansehen, bei denen YOLO11 mit Hilfe der ONNX eingesetzt werden kann.

Bestandsverfolgung in Lagern mit YOLO11

In stark frequentierten Lagerhäusern ist es schwierig, jedes Produkt und jede Verpackung jederzeit im Auge zu behalten. Computer Vision Systeme können Mitarbeitern helfen, Produkte in Regalen zu finden und Einblicke zu erhalten, wie z. B. die Anzahl der Produkte, die Art usw. Solche Systeme können Unternehmen dabei unterstützen, ihren riesigen Bestand automatisch zu verwalten und den Lagerarbeitern viel Zeit zu sparen.

Insbesondere in intelligenten Lagern können YOLO11 , die in ONNX exportiert werden, zur Identifizierung und Zählung von Artikeln in Echtzeit mithilfe von Kameras und Edge Devices verwendet werden. Das exportierte Modell kann helfen, Regale oder Paletten zu scannen, um Lagerbestände, fehlende Artikel oder leere Stellen detect . Da das Modell durch den Export in ONNX leicht und effizient ist, kann es direkt auf kleinen Edge-Geräten wie Smart-Kameras ausgeführt werden, so dass keine teuren Server oder ständiger Cloud-Zugriff erforderlich sind.

‍

Abfallmanagement im Krankenhaus mit YOLO11

Krankenhäuser auf der ganzen Welt produzieren täglich große Mengen an Abfall, von gebrauchten Handschuhen und Spritzen bis hin zu Geräten, die während Operationen verwendet werden (wie Einweg- oder kontaminierte chirurgische Instrumente wie Scheren und Skalpelle). Tatsächlich zeigen Untersuchungen, dass Krankenhäuser jährlich rund 5 Millionen Tonnen Abfall produzieren, was 29 Pfund Abfall pro Bett und Tag entspricht. 

Die ordnungsgemäße Sortierung solcher Abfälle ist für die Hygiene, die Sicherheit und die Einhaltung von Vorschriften unerlässlich. Mit YOLO11 , die im ONNX exportiert werden, können Krankenhäuser die Abfallentsorgung in Echtzeit automatisieren und überwachen.

So können Kameras, die in der Nähe von Abfallbehältern in Bereichen wie Operationssälen oder Fluren angebracht sind, die weggeworfenen Gegenstände überwachen. Ein maßgeschneidertes YOLO11 , das darauf trainiert ist, verschiedene Arten von medizinischem Abfall zu erkennen, kann das Filmmaterial analysieren und erkennen, was weggeworfen wird. Wenn ein Gegenstand im falschen Behälter landet, z. B. eine gebrauchte Spritze im normalen Müll, kann das System so eingestellt werden, dass das Personal sofort durch ein Licht oder einen Ton gewarnt wird, um eine Kontamination zu verhindern und die Einhaltung der Vorschriften sicherzustellen.

‍

YOLO11 Ernteüberwachung

Der richtige Zeitpunkt für die Ernte kann einen großen Einfluss sowohl auf die Qualität der Produkte als auch auf die Gesamtproduktivität eines landwirtschaftlichen Betriebs haben. Traditionell verlassen sich Landwirte auf Erfahrung und manuelle Inspektionen – aber mit den jüngsten technologischen Fortschritten beginnt sich das zu ändern.

Mit Computer-Vision-Innovationen wie YOLO11, die im ONNX exportiert werden, können Landwirte nun Automatisierung und Präzision auf das Feld bringen. Mit Hilfe von Drohnen oder Kameras, die an Traktoren oder Pfählen angebracht sind, können Landwirte Bilder von ihren Pflanzen (wie Tomaten, Äpfel oder Weizen) aufnehmen. YOLO11 kann dann verwendet werden, um wichtige Indikatoren wie Farbe, Größe und Verteilung der Pflanzen detect . Anhand dieser Informationen können die Landwirte feststellen, ob die Pflanzen erntereif sind, noch reifen oder ihren Höhepunkt bereits überschritten haben.

‍

Zu beachtende ONNX

ONNX bietet zwar zahlreiche Vorteile, wie Portabilität, plattformübergreifende Kompatibilität und Interoperabilität der Frameworks, aber es gibt auch einige Einschränkungen, die zu beachten sind.

• Modellgröße: Die Konvertierung von Modellen in das ONNX kann manchmal zu einer größeren Dateigröße im Vergleich zum Originalformat führen. Techniken wie Quantisierung und Pruning können dazu beitragen, dieses Problem zu entschärfen, indem sie die Modellgröße reduzieren, ohne die Leistung wesentlich zu beeinträchtigen.

• Laufzeitkompatibilität: Obwohl ONNX Runtime auf plattformübergreifende Kompatibilität ausgelegt ist, können Leistung und Unterstützung auf verschiedenen Hardware- und Betriebssystemen variieren. 

• Herausforderungen bei der Fehlersuche: Das Debuggen von ONNX kann komplexer sein als bei nativen Frameworks wie PyTorch oder TensorFlow. Fehlermeldungen können weniger aussagekräftig sein, was es schwieriger macht, Probleme zu lokalisieren. Tools wie Netron zur Modellvisualisierung und die Protokollierungsfunktionen von ONNX Runtime können jedoch bei der Fehlersuche helfen.

Wesentliche Erkenntnisse

Der Export von Ultralytics YOLO11 nach ONNX macht es einfach, ein trainiertes Computer-Vision-Modell fast überall einzusetzen - sei es auf einem Laptop, einem mobilen Gerät oder sogar einer kompakten Smart-Kamera. Mit der ONNX sind Sie nicht an ein einziges Framework oder eine Plattform gebunden und können Ihr Modell in der Umgebung ausführen, die am besten zu Ihrer Anwendung passt. 

Dies beschleunigt und effizienter den Übergang vom Training zum realen Einsatz. Ob Sie nun den Lagerbestand in einem Lager verfolgen oder sicherstellen, dass Krankenhausabfälle korrekt entsorgt werden, dieses Setup hilft Systemen, reibungsloser zu laufen, reduziert Fehler und spart wertvolle Zeit.

Möchten Sie mehr über Computer Vision und KI erfahren? Erkunden Sie unser GitHub-Repository, vernetzen Sie sich mit unserer Community und informieren Sie sich über unsere Lizenzoptionen, um Ihr Computer-Vision-Projekt zu starten. Wenn Sie Innovationen wie KI in der Fertigung und Computer Vision in der Automobilindustrie erforschen, besuchen Sie unsere Lösungsseiten, um mehr zu erfahren.