Verwendung der ONNX-Integration zum Exportieren von Ultralytics YOLO-Modellen

Als KI-Lösungen zum ersten Mal Aufmerksamkeit erregten, wurden die meisten Modelle auf leistungsstarken Servern in kontrollierten Umgebungen bereitgestellt. Mit dem Fortschritt der Technologie hat sich die Bereitstellung jedoch weit über das Rechenzentrum hinaus ausgeweitet.

Heute laufen KI-Modelle auf allem, von Cloud-Servern und Desktops bis hin zu Smartphones und Edge-Geräten. Diese Verlagerung ermöglicht eine schnellere Verarbeitung, Offline-Funktionalität und intelligentere Systeme, die näher an dem Ort arbeiten, an dem die Daten generiert werden.

Ein Bereich, in dem dies besonders deutlich wird, ist Computer Vision – ein Zweig der KI, der es Maschinen ermöglicht, visuelle Daten zu interpretieren. Er wird für Anwendungen wie Gesichtserkennung, autonomes Fahren und Echtzeit-Videoanalysen genutzt. Mit dem Wachstum dieser Anwendungsfälle steigt auch der Bedarf an Modellen, die reibungslos auf verschiedener Hardware und Plattformen laufen können.

Doch die Bereitstellung von Computer-Vision-Modellen auf einer Reihe von Bereitstellungszielen ist nicht immer einfach. Geräte unterscheiden sich in Bezug auf Hardware, Betriebssysteme und unterstützte Frameworks, weshalb Flexibilität und Kompatibilität unerlässlich sind.

Deshalb ist die Option, Computer-Vision-Modelle wie Ultralytics YOLO11 in verschiedene Formate zu exportieren, entscheidend. Die von Ultralytics unterstützte ONNX-Integration (Open Neural Network Exchange) bietet beispielsweise eine praktische Möglichkeit, die Lücke zwischen Training und Bereitstellung zu schließen. ONNX ist ein offenes Format, das Modelle framework-unabhängig und bereit für die Bereitstellung über verschiedene Plattformen hinweg macht.

Abb. 1. ONNX hilft dir dabei, ein in einem Framework trainiertes Modell einfach in einem anderen auszuführen.

In diesem Artikel werfen wir einen genaueren Blick auf die von Ultralytics unterstützte ONNX-Integration und zeigen dir, wie du dein YOLO11-Modell für eine flexible, plattformübergreifende Bereitstellung exportieren kannst.

Link to this sectionWas sind ONNX und ONNX Runtime?#

Der Open Neural Network Exchange ist ein Open-Source-Projekt, das ein Standardformat für Machine-Learning-Modelle definiert. Ursprünglich von Microsoft und Facebook entwickelt, ermöglicht es Entwicklern, ein Modell in einem Framework wie PyTorch zu trainieren und in einem anderen, wie etwa TensorFlow, auszuführen. Dies macht die KI-Entwicklung flexibler, kollaborativer und zugänglicher, insbesondere in Bereichen wie Computer Vision.

ONNX bietet einen gemeinsamen Satz von Operatoren und ein einheitliches Dateiformat, was es einfacher macht, Modelle zwischen verschiedenen Tools, Frameworks, Runtimes und Compilern zu verschieben. Normalerweise ist ein in einem Framework trainiertes Modell nicht ohne Weiteres mit einem anderen kompatibel – aber mit ONNX kannst du dein Modell einmal exportieren und fast überall bereitstellen: auf CPUs (Central Processing Units), GPUs (Graphics Processing Units), Mobilgeräten oder Edge-Hardware.

Zudem ist ONNX Runtime eine leistungsstarke Inferenz-Engine, die speziell dafür entwickelt wurde, Modelle im ONNX-Format auszuführen. Sie ist darauf ausgelegt, ONNX-Modelle auf einer Vielzahl von Plattformen schneller und effizienter laufen zu lassen – einschließlich Servern, Mobilgeräten und Edge-Hardware. ONNX Runtime ist mit gängigen Frameworks wie PyTorch, TensorFlow, TensorFlow Lite und scikit-learn kompatibel, was die Integration in verschiedene Workflows und die Bereitstellung von Modellen überall dort, wo sie benötigt werden, erleichtert.

Abb. 2. ONNX und ONNX Runtime ermöglichen eine flexible, plattformübergreifende Modellbereitstellung.

Link to this sectionHauptmerkmale von ONNX#

Bevor wir besprechen, wie du YOLO11 exportierst, um das ONNX-Format zu nutzen, werfen wir einen Blick auf einige wichtige Funktionen des ONNX-Modellformats.

Egal, ob du zwischen Tools wechselst, auf verschiedenen Geräten bereitstellst oder Systeme aktualisierst, ONNX sorgt dafür, dass alles reibungslos läuft. Hier ist, was das ONNX-Modellformat so einzigartig macht:

• Ein Standardformat: ONNX verwendet eine gemeinsame Art und Weise, um zu beschreiben, wie Modelle aufgebaut sind, wie z. B. Schichten und Operationen (man kann sie sich als Bausteine vorstellen). Wenn ein Modell in ONNX konvertiert wird, folgt es diesem Standard, sodass jedes System, das ONNX unterstützt, es verstehen und ausführen kann.

• Abwärtskompatibilität: Auch wenn ONNX ständig verbessert wird, stellt es sicher, dass ältere Modelle weiterhin mit neueren Versionen funktionieren. Das bedeutet, dass du deine Modelle nicht jedes Mal neu trainieren oder neu erstellen musst, wenn ONNX ein Update erhält.

• Graph-basiertes Modelldesign: ONNX-Modelle sind als Berechnungs-Graphen strukturiert, bei denen jeder Knoten eine Operation (wie eine Schicht oder eine mathematische Funktion) darstellt und Kanten den Datenfluss anzeigen. Dieses graph-basierte Design erleichtert die Integration in verschiedene Systeme, die ähnliche Strukturen für Berechnungs-Graphen nutzen.

• Entwicklerfreundliche Tools: Es wird mit einer breiten Palette an Tools geliefert, die dir helfen, deine Modelle zu konvertieren, zu validieren und zu optimieren. Diese Tools vereinfachen den Prozess des Verschiebens von Modellen zwischen verschiedenen Frameworks und können die Bereitstellung beschleunigen – insbesondere für Computer-Vision-Anwendungen.

Link to this sectionEin Überblick über die ONNX-Integration#

Das Exportieren von Ultralytics YOLO-Modellen wie Ultralytics YOLO11 im ONNX-Format ist unkompliziert und in wenigen Schritten erledigt.

Um loszulegen, installiere das Ultralytics Python-Paket über einen Paketmanager wie „pip“. Dies kannst du tun, indem du den Befehl “pip install ultralytics” in deiner Eingabeaufforderung oder deinem Terminal ausführst.

Mit dem Ultralytics-Paket kannst du Modelle für verschiedene Computer-Vision-Aufgaben einfach trainieren, testen, feinabstimmen, exportieren und bereitstellen – was den gesamten Prozess schneller und effizienter macht. Solltest du bei der Installation auf Schwierigkeiten stoßen, kannst du im Leitfaden zu allgemeinen Problemen nach Lösungen und Tipps suchen.

Sobald das Ultralytics-Paket installiert ist, kannst du das YOLO11-Modell mithilfe des unten stehenden Codes laden und in das ONNX-Format exportieren. Dieses Beispiel lädt ein vortrainiertes YOLO11-Modell (yolo11n.pt) und exportiert es als ONNX-Datei (yolo11n.onnx), womit es für die Bereitstellung auf verschiedenen Plattformen und Geräten bereit ist.

Nachdem du dein Modell in das ONNX-Format konvertiert hast, kannst du es auf einer Vielzahl von Plattformen bereitstellen.

Das folgende Beispiel zeigt, wie du das exportierte YOLO11-Modell (yolo11n.onnx) lädst und eine Inferenz damit ausführst. Inferenz bedeutet einfach, das trainierte Modell zu verwenden, um Vorhersagen für neue Daten zu treffen. In diesem Fall verwenden wir die URL eines Bildes eines Busses, um das Modell zu testen.

Wenn du diesen Code ausführst, wird das folgende Ergebnisbild im Ordner runs/detect/predict gespeichert.

Abb. 3. Ausführen einer Inferenz mit dem exportierten YOLO11-Modell auf einem Bild.

Link to this sectionWann solltest du die ONNX-Integration wählen?#

Das Ultralytics Python-Paket unterstützt das Exportieren von Modellen in verschiedene Formate, darunter TorchScript, CoreML, TensorRT und ONNX. Warum also ONNX wählen?

Was ONNX auszeichnet, ist, dass es ein framework-unabhängiges Format ist. Während viele andere Exportformate an bestimmte Tools oder Umgebungen gebunden sind, verwendet ONNX ein standardisiertes Format und einen gemeinsamen Satz von Operatoren. Das macht es äußerst portabel, hardwarefreundlich und ideal für die plattformübergreifende Bereitstellung – egal, ob du mit Cloud-Servern, mobilen Apps oder Edge-Geräten arbeitest.

Hier sind einige Gründe, warum die ONNX-Integration die ideale Wahl für deine YOLO11-Projekte sein könnte:

• Portabel bereitstellen: Sobald dein YOLO11-Modell in ONNX exportiert wurde, kann es auf verschiedenen Plattformen ohne Codeänderungen oder erneutes Training eingesetzt werden.

• Branchenweite Unterstützung: ONNX wird von großen KI-Unternehmen und Frameworks unterstützt, was es zu einem zuverlässigen, weit verbreiteten Format macht. Es gewährleistet langfristige Kompatibilität, ähnlich wie PDFs auf verschiedenen Geräten funktionieren.

• Zukunftssichere Entwicklung: Die Verwendung von ONNX hilft, deine Investitionen in Modelle zu schützen. Da sich Tools weiterentwickeln, hält ONNX deine Modelle relevant und nutzbar, selbst in neuen oder anderen Umgebungen.

• Kein Vendor-Lock-in: Manche Tools binden dich an die ausschließliche Nutzung ihres Systems, was einschränken kann, was dein Modell leisten kann. ONNX vermeidet dies, indem es dir erlaubt, die Plattform zu wählen, die am besten zu deinen Anforderungen passt, ohne an ein einziges Setup gebunden zu sein.

Link to this sectionAnwendungen von YOLO11 und dem ONNX-Modellformat#

Als Nächstes erkunden wir einige reale Anwendungen, bei denen YOLO11 mithilfe der ONNX-Integration eingesetzt werden kann.

Link to this sectionLagerbestandsverfolgung in Warenlagern mit YOLO11#

In geschäftigen Lagern ist es schwierig, jedes Produkt und jedes Paket jederzeit im Blick zu behalten. Computer-Vision-Systeme können Mitarbeitern helfen, Produkte in Regalen zu finden und Einblicke wie die Anzahl der Produkte, den Typ usw. zu erhalten. Solche Systeme können Unternehmen dabei unterstützen, ihren riesigen Bestand automatisch zu verwalten und Lagerarbeitern viel Zeit zu sparen.

Insbesondere in intelligenten Lagern können YOLO11-Modelle, die in ONNX exportiert wurden, verwendet werden, um Artikel in Echtzeit mithilfe von Kameras und Edge-Geräten zu identifizieren und zu zählen. Das exportierte Modell kann dabei helfen, Regale oder Paletten zu scannen, um Lagerbestände, fehlende Artikel oder leere Plätze zu erkennen. Da das Exportieren in ONNX das Modell leicht und effizient macht, kann es direkt auf kleinen Edge-Geräten, wie z. B. intelligenten Kameras, ausgeführt werden, wodurch teure Server oder ein ständiger Cloud-Zugriff überflüssig werden.

Abb. 4. Ein Beispiel für die Verwendung von YOLO11 zum Erkennen und Zählen von Paketen.

Link to this sectionKrankenhaus-Abfallmanagement mit YOLO11#

Krankenhäuser auf der ganzen Welt erzeugen täglich große Mengen an Abfall, von gebrauchten Handschuhen und Spritzen bis hin zu Ausrüstung, die während Operationen verwendet wurde (wie Einweg- oder kontaminierte chirurgische Instrumente wie Scheren und Skalpelle). Tatsächlich zeigen Untersuchungen, dass Krankenhäuser jedes Jahr etwa 5 Millionen Tonnen Abfall produzieren, was 29 Pfund Abfall pro Bett pro Tag entspricht.

Das korrekte Sortieren solcher Abfälle ist für Hygiene, Sicherheit und die Einhaltung von Vorschriften unerlässlich. Mit YOLO11-Modellen, die im ONNX-Format exportiert wurden, können Krankenhäuser die Abfallentsorgung automatisieren und in Echtzeit überwachen.

Zum Beispiel können Kameras, die in der Nähe von Abfallbehältern in Bereichen wie Operationssälen oder Fluren angebracht sind, Gegenstände überwachen, während sie entsorgt werden. Ein benutzerdefiniertes YOLO11-Modell, das darauf trainiert ist, verschiedene Arten von medizinischem Abfall zu erkennen, kann das Filmmaterial analysieren und identifizieren, was weggeworfen wird. Wenn ein Gegenstand im falschen Behälter landet, wie z. B. eine gebrauchte Spritze im normalen Müll, kann das System so eingerichtet werden, dass es das Personal sofort mit Licht oder Ton alarmiert, was hilft, Kontaminationen zu vermeiden und die Einhaltung von Vorschriften sicherzustellen.

Abb. 5. Verwendung von YOLO11 zur Erkennung medizinischer Instrumente.

Link to this sectionYOLO11-basierte Ernteüberwachung#

Den richtigen Zeitpunkt für die Ernte zu kennen, kann einen großen Einfluss sowohl auf die Qualität der Erzeugnisse als auch auf die Gesamtproduktivität eines landwirtschaftlichen Betriebs haben. Traditionell verlassen sich Landwirte auf Erfahrung und manuelle Inspektionen – aber mit den jüngsten technologischen Fortschritten beginnt sich das zu ändern.

Jetzt, mit Computer-Vision-Innovationen wie YOLO11, exportiert im ONNX-Format, können Landwirte Automatisierung und Präzision auf das Feld bringen. Durch den Einsatz von Drohnen oder an Traktoren oder Stangen montierten Kameras können Landwirte Bilder ihrer Pflanzen (wie Tomaten, Äpfel oder Weizen) aufnehmen. YOLO11 kann dann verwendet werden, um Schlüsselindikatoren wie Farbe, Größe und die Verteilung der Pflanzen zu erkennen. Basierend auf diesen Informationen können die Landwirte bestimmen, ob die Pflanzen erntereif sind, noch reifen oder bereits über ihren Höhepunkt hinaus sind.

Abb. 6. YOLO11 kann verwendet werden, um Pflanzen in Luftaufnahmen einer Drohne zu erkennen.

Link to this sectionEinschränkungen von ONNX, die es zu beachten gilt#

Obwohl ONNX zahlreiche Vorteile bietet, wie Portabilität, plattformübergreifende Kompatibilität und Framework-Interoperabilität, gibt es einige Einschränkungen, die du beachten solltest:

• Modellgröße: Das Konvertieren von Modellen in das ONNX-Format kann manchmal zu größeren Dateigrößen im Vergleich zu ihren ursprünglichen Formaten führen. Techniken wie Quantisierung und Pruning können helfen, dieses Problem zu mildern, indem die Modellgröße reduziert wird, ohne die Leistung wesentlich zu beeinträchtigen.

• Runtime-Kompatibilität: Obwohl ONNX Runtime für plattformübergreifende Kompatibilität ausgelegt ist, können Leistung und Support je nach Hardware und Betriebssystem variieren.

• Debugging-Herausforderungen: Das Debuggen von ONNX-Modellen kann komplexer sein als in nativen Frameworks wie PyTorch oder TensorFlow. Fehlermeldungen können weniger aussagekräftig sein, was es schwieriger macht, Probleme zu lokalisieren. Tools wie Netron zur Modellvisualisierung und die Logging-Funktionen von ONNX Runtime können jedoch bei der Fehlerbehebung helfen.

Link to this sectionWichtige Erkenntnisse#

Das Exportieren von Ultralytics YOLO11 in ONNX macht es einfach, ein trainiertes Computer-Vision-Modell zu nehmen und fast überall bereitzustellen – sei es auf einem Laptop, einem Mobilgerät oder sogar einer kompakten Smart-Kamera. Mit der ONNX-Integration bist du nicht an ein einziges Framework oder eine einzige Plattform gebunden, was dir die Flexibilität gibt, dein Modell in der Umgebung auszuführen, die am besten zu deiner Anwendung passt.

Dies macht den Übergang vom Training zur Bereitstellung in der Praxis schneller und effizienter. Egal, ob du Lagerbestände in einem Warenlager verfolgst oder sicherstellst, dass Krankenhausabfälle korrekt entsorgt werden, dieses Setup hilft Systemen, reibungsloser zu laufen, reduziert Fehler und spart wertvolle Zeit.

Möchtest du mehr über Computer Vision und KI erfahren? Erkunde unser GitHub-Repository, vernetze dich mit unserer Community und sieh dir unsere Lizenzoptionen an, um dein Computer-Vision-Projekt zu starten. Wenn du Innovationen wie KI in der Fertigung und Computer Vision in der Automobilindustrie erforschst, besuche unsere Lösungsseiten, um mehr zu entdecken.