Verwendung der ONNX-Integration zum Exportieren von Ultralytics YOLO-Modellen

Als AI solutions zuerst Aufmerksamkeit erregten, wurden die meisten Modelle auf leistungsstarken Servern in kontrollierten Umgebungen bereitgestellt. Mit dem technologischen Fortschritt hat sich die Bereitstellung jedoch weit über das Rechenzentrum hinaus ausgedehnt.

Heute laufen KI-Modelle auf allem, von Cloud-Servern und Desktops bis hin zu Smartphones und Edge-Geräten. Diese Verlagerung ermöglicht eine schnellere Verarbeitung, Offline-Funktionalität und intelligentere Systeme, die näher an dem Ort arbeiten, an dem die Daten generiert werden.

Ein Bereich, in dem dies besonders deutlich wird, ist computer vision – ein Zweig der KI, der Maschinen befähigt, visuelle Daten zu interpretieren. Sie wird eingesetzt, um Anwendungen wie Gesichtserkennung, autonomes Fahren und Echtzeit-Videoanalyse voranzutreiben. Da diese Anwendungsfälle wachsen, wächst auch der Bedarf an Modellen, die reibungslos auf verschiedener Hardware und Plattformen laufen können.

Doch die Bereitstellung von Computer-Vision-Modellen auf einer Reihe von Bereitstellungszielen ist nicht immer einfach. Geräte unterscheiden sich in Bezug auf Hardware, Betriebssysteme und unterstützte Frameworks, weshalb Flexibilität und Kompatibilität unerlässlich sind.

Deshalb ist es entscheidend, Computer-Vision-Modelle wie Ultralytics YOLO11 in verschiedene Formate exportieren zu können. Beispielsweise bietet die von Ultralytics unterstützte ONNX-Integration (Open Neural Network Exchange) eine praktische Möglichkeit, die Kluft zwischen Training und Bereitstellung zu überbrücken. ONNX ist ein offenes Format, das Modelle Framework-unabhängig und plattformübergreifend einsatzbereit macht.

Fig 1. ONNX hilft dir dabei, ein in einem Framework trainiertes Modell problemlos in einem anderen auszuführen.

In diesem Artikel werfen wir einen genaueren Blick auf die von Ultralytics unterstützte ONNX integration und untersuchen, wie du dein YOLO11-Modell für eine flexible, plattformübergreifende Bereitstellung exportieren kannst.

Was sind ONNX und ONNX Runtime?#

Der Open Neural Network Exchange ist ein Open-Source-Projekt, das ein Standardformat für Machine-Learning-Modelle definiert. Ursprünglich von Microsoft und Facebook entwickelt, ermöglicht es Entwicklern, ein Modell in einem Framework wie PyTorch zu trainieren und in einem anderen, wie etwa TensorFlow, auszuführen. Dies macht die KI-Entwicklung flexibler, kollaborativer und zugänglicher, insbesondere in Bereichen wie Computer Vision.

ONNX bietet einen gemeinsamen Satz von Operatoren und ein einheitliches Dateiformat, was es einfacher macht, Modelle zwischen verschiedenen Tools, Frameworks, Laufzeiten und Compilern zu verschieben. Normalerweise ist ein in einem Framework trainiertes Modell nicht ohne Weiteres mit einem anderen kompatibel – aber mit ONNX kannst du dein Modell einmal exportieren und fast überall bereitstellen: auf CPUs (Central Processing Units), GPUs (Graphics Processing Units), Mobilgeräten oder Edge-Hardware.

Zudem ist ONNX Runtime eine leistungsstarke Inferenz-Engine, die speziell dafür entwickelt wurde, Modelle im ONNX-Format auszuführen. Sie ist darauf ausgelegt, ONNX-Modelle auf einer Vielzahl von Plattformen schneller und effizienter laufen zu lassen – einschließlich Servern, Mobilgeräten und Edge-Hardware. ONNX Runtime ist mit gängigen Frameworks wie PyTorch, TensorFlow, TensorFlow Lite und scikit-learn kompatibel, was die Integration in verschiedene Workflows und die Bereitstellung von Modellen überall dort, wo sie benötigt werden, erleichtert.

Fig 2. ONNX und ONNX Runtime ermöglichen eine flexible plattformübergreifende Modellbereitstellung.

Hauptmerkmale von ONNX#

Bevor wir besprechen, wie du export Ultralytics YOLO11 in das ONNX-Format exportierst, schauen wir uns einige Hauptfunktionen des ONNX-Modellformats an.

Egal, ob du zwischen Tools wechselst, auf verschiedenen Geräten bereitstellst oder Systeme aktualisierst, ONNX sorgt dafür, dass alles reibungslos läuft. Hier ist, was das ONNX-Modellformat so einzigartig macht:

• Ein Standardformat: ONNX verwendet eine gemeinsame Art und Weise, um zu beschreiben, wie Modelle aufgebaut sind, wie z. B. Schichten und Operationen (man kann sie sich als Bausteine vorstellen). Wenn ein Modell in ONNX konvertiert wird, folgt es diesem Standard, sodass jedes System, das ONNX unterstützt, es verstehen und ausführen kann.

• Abwärtskompatibilität: Auch wenn ONNX ständig verbessert wird, stellt es sicher, dass ältere Modelle weiterhin mit neueren Versionen funktionieren. Das bedeutet, dass du deine Modelle nicht jedes Mal neu trainieren oder neu erstellen musst, wenn ONNX ein Update erhält.

• Graph-basiertes Modelldesign: ONNX-Modelle sind als Berechnungs-Graphen strukturiert, bei denen jeder Knoten eine Operation (wie eine Schicht oder eine mathematische Funktion) darstellt und Kanten den Datenfluss anzeigen. Dieses graph-basierte Design erleichtert die Integration in verschiedene Systeme, die ähnliche Strukturen für Berechnungs-Graphen nutzen.

• Entwicklerfreundliche Tools: Es wird mit einer breiten Palette an Tools geliefert, die dir helfen, deine Modelle zu konvertieren, zu validieren und zu optimieren. Diese Tools vereinfachen den Prozess des Verschiebens von Modellen zwischen verschiedenen Frameworks und können die Bereitstellung beschleunigen – insbesondere für Computer-Vision-Anwendungen.

Ein Überblick über die ONNX-Integration#

Das Exportieren von Ultralytics YOLO models wie Ultralytics YOLO11 im ONNX-Format ist unkompliziert und in wenigen Schritten erledigt.

Installiere zu Beginn das Ultralytics Python package über einen Paketmanager wie „pip“. Dies kannst du tun, indem du den Befehl “pip install ultralytics” in deiner Eingabeaufforderung oder deinem Terminal ausführst, um loszulegen.

Mit dem Ultralytics-Paket kannst du Modelle für verschiedene Computer-Vision-Aufgaben ganz einfach trainieren, testen, feinabstimmen, exportieren und bereitstellen – das macht den gesamten Prozess schneller und effizienter. Falls bei der Installation Schwierigkeiten auftreten, kannst du im Common Issues guide nach Lösungen und Tipps suchen.

Sobald das Ultralytics-Paket installiert ist, kannst du das YOLO11-Modell mithilfe des unten stehenden Codes laden und in das ONNX-Format exportieren. Dieses Beispiel lädt ein vortrainiertes YOLO11-Modell (yolo11n.pt) und exportiert es als ONNX-Datei (yolo11n.onnx), womit es für die Bereitstellung auf verschiedenen Plattformen und Geräten bereit ist.

Nachdem du dein Modell in das ONNX-Format konvertiert hast, kannst du es auf einer Vielzahl von Plattformen bereitstellen.

Das folgende Beispiel zeigt, wie du das exportierte YOLO11-Modell (yolo11n.onnx) lädst und eine Inferenz damit ausführst. Inferenz bedeutet einfach, das trainierte Modell zu verwenden, um Vorhersagen für neue Daten zu treffen. In diesem Fall verwenden wir die URL eines Bildes eines Busses, um das Modell zu testen.

Wenn du diesen Code ausführst, wird das folgende Ergebnisbild im Ordner runs/detect/predict gespeichert.

Abb. 3: Ausführen einer Inferenz mit dem exportierten Ultralytics YOLO11-Modell an einem Bild.

Wann solltest du die ONNX-Integration wählen?#

Das Ultralytics Python package unterstützt das exporting models in mehrere Formate, darunter TorchScript, CoreML, TensorRT und ONNX. Warum also ONNX wählen?

Was ONNX auszeichnet, ist, dass es ein framework-unabhängiges Format ist. Während viele andere Exportformate an bestimmte Tools oder Umgebungen gebunden sind, verwendet ONNX ein standardisiertes Format und einen gemeinsamen Satz von Operatoren. Das macht es äußerst portabel, hardwarefreundlich und ideal für die plattformübergreifende Bereitstellung – egal, ob du mit Cloud-Servern, mobilen Apps oder Edge-Geräten arbeitest.

Hier sind einige Gründe, warum die ONNX-Integration die ideale Wahl für deine Ultralytics YOLO11-Projekte sein könnte:

• Portables Deployment: Einmal nach ONNX exportiert, kann dein Ultralytics YOLO11-Modell ohne Codeänderungen oder erneutes Training auf verschiedenen Plattformen bereitgestellt werden.

• Branchenweite Unterstützung: ONNX wird von großen KI-Unternehmen und Frameworks unterstützt, was es zu einem zuverlässigen, weit verbreiteten Format macht. Es gewährleistet langfristige Kompatibilität, ähnlich wie PDFs auf verschiedenen Geräten funktionieren.

• Zukunftssichere Entwicklung: Die Verwendung von ONNX hilft, deine Investitionen in Modelle zu schützen. Da sich Tools weiterentwickeln, hält ONNX deine Modelle relevant und nutzbar, selbst in neuen oder anderen Umgebungen.

• Kein Vendor-Lock-in: Manche Tools binden dich an die ausschließliche Nutzung ihres Systems, was einschränken kann, was dein Modell leisten kann. ONNX vermeidet dies, indem es dir erlaubt, die Plattform zu wählen, die am besten zu deinen Anforderungen passt, ohne an ein einziges Setup gebunden zu sein.

Anwendungen von Ultralytics YOLO11 und dem ONNX-Modellformat#

Als Nächstes erkunden wir einige reale Anwendungen, in denen Ultralytics YOLO11 mithilfe der ONNX-Integration bereitgestellt werden kann.

Bestandsverfolgung in Lagern mit Ultralytics YOLO11#

In geschäftigen Lagern ist es schwierig, jedes Produkt und jedes Paket jederzeit im Blick zu behalten. Computer-Vision-Systeme können Mitarbeitern helfen, Produkte in Regalen zu finden und Einblicke wie die Anzahl der Produkte, den Typ usw. zu erhalten. Solche Systeme können Unternehmen dabei unterstützen, ihren riesigen Bestand automatisch zu verwalten und Lagerarbeitern viel Zeit zu sparen.

Insbesondere in smart warehouses können nach ONNX exportierte Ultralytics YOLO11-Modelle verwendet werden, um Artikel mithilfe von Kameras und Edge-Geräten in Echtzeit zu identifizieren und zu zählen. Das exportierte Modell kann Regale oder Paletten scannen, um Bestände, fehlende Artikel oder leere Plätze zu erkennen. Da der Export nach ONNX das Modell leicht und effizient macht, kann es direkt auf kleinen Edge-Geräten wie intelligenten Kameras ausgeführt werden, wodurch teure Server oder ständiger Cloud-Zugriff überflüssig werden.

Fig 4. Ein Beispiel für die Verwendung von YOLO11 zum Erkennen und Zählen von Paketen.

Krankenhaus-Abfallmanagement mit Ultralytics YOLO11#

Krankenhäuser auf der ganzen Welt erzeugen jeden Tag große Mengen an Abfall, von gebrauchten Handschuhen und Spritzen bis hin zu Geräten, die bei Operationen verwendet werden (wie Einweg- oder kontaminierten chirurgischen Instrumenten wie Scheren und Skalpellen). Untersuchungen zeigen tatsächlich, dass Krankenhäuser jedes Jahr rund 5 Millionen Tonnen Abfall produzieren, was 29 Pfund waste per bed pro Tag entspricht.

Die ordnungsgemäße Sortierung solcher Abfälle ist für Hygiene, Sicherheit und die Einhaltung von Vorschriften von entscheidender Bedeutung. Mit im ONNX-Format exportierten Ultralytics YOLO11-Modellen hospitals can automate und die Müllentsorgung in Echtzeit überwachen.

Beispielsweise können Kameras in der Nähe von Mülltonnen in Bereichen wie Operationssälen oder Fluren Gegenstände beim Wegwerfen überwachen. Ein benutzerdefiniertes Ultralytics YOLO11-Modell, das darauf trainiert ist, verschiedene Arten von medizinischem Abfall zu erkennen, kann das Material analysieren und feststellen, was weggeworfen wird. Landet ein Gegenstand im falschen Behälter, wie zum Beispiel eine gebrauchte Spritze im Hausmüll, kann das System so eingerichtet werden, dass es das Personal sofort mit einem Licht oder Ton alarmiert, um Kontaminationen zu verhindern und die Einhaltung von Vorschriften sicherzustellen.

Abb. 5: Verwendung von Ultralytics YOLO11 zur Erkennung medizinischer Instrumente.

Ultralytics YOLO11-fähige Ernteüberwachung#

Den richtigen Zeitpunkt für die Ernte zu kennen, kann einen großen Einfluss sowohl auf die Qualität der Erzeugnisse als auch auf die Gesamtproduktivität eines landwirtschaftlichen Betriebs haben. Traditionell verlassen sich Landwirte auf Erfahrung und manuelle Inspektionen – aber mit den jüngsten technologischen Fortschritten beginnt sich das zu ändern.

Mit Computer-Vision-Innovationen wie YOLO11, exportiert im ONNX-Format, können Landwirte nun Automatisierung und Präzision auf das Feld bringen. Durch den Einsatz von Drohnen oder Kameras, die an Traktoren oder Masten montiert sind, können Landwirte Bilder ihrer Ernte (wie Tomaten, Äpfel oder Weizen) aufnehmen. YOLO11 kann dann verwendet werden, um wichtige Indikatoren wie Farbe, Größe und die distribution of crops zu erkennen. Basierend auf diesen Informationen können Landwirte feststellen, ob die Ernte erntereif, noch am Reifen oder bereits über ihren Höhepunkt hinaus ist.

Fig 6. YOLO11 kann verwendet werden, um Nutzpflanzen in Luftaufnahmen von Drohnen zu erkennen.

Einschränkungen von ONNX, die es zu beachten gilt#

Obwohl ONNX zahlreiche Vorteile bietet, wie Portabilität, plattformübergreifende Kompatibilität und Framework-Interoperabilität, gibt es einige Einschränkungen, die du beachten solltest:

• Model size: Die Konvertierung von Modellen in das ONNX-Format kann manchmal zu größeren Dateigrößen im Vergleich zu ihren Originalformaten führen. Techniken wie quantization and pruning können dazu beitragen, dieses Problem zu entschärfen, indem sie die Modellgröße reduzieren, ohne die Leistung nennenswert zu beeinträchtigen.

• Runtime-Kompatibilität: Obwohl ONNX Runtime für plattformübergreifende Kompatibilität ausgelegt ist, können Leistung und Support je nach Hardware und Betriebssystem variieren.

• Debugging-Herausforderungen: Das Debuggen von ONNX-Modellen kann komplexer sein als in nativen Frameworks wie PyTorch oder TensorFlow. Fehlermeldungen können weniger aussagekräftig sein, was es schwieriger macht, Probleme zu lokalisieren. Tools wie Netron zur Modellvisualisierung und die Logging-Funktionen von ONNX Runtime können jedoch bei der Fehlerbehebung helfen.

Wichtige Erkenntnisse#

Das Exportieren von Ultralytics YOLO11 in ONNX macht es einfach, ein trainiertes Computer-Vision-Modell zu nehmen und fast überall bereitzustellen – sei es auf einem Laptop, einem Mobilgerät oder sogar einer kompakten Smart-Kamera. Mit der ONNX-Integration bist du nicht an ein einziges Framework oder eine einzige Plattform gebunden, was dir die Flexibilität gibt, dein Modell in der Umgebung auszuführen, die am besten zu deiner Anwendung passt.

Dies macht den Übergang vom Training zur Bereitstellung in der Praxis schneller und effizienter. Egal, ob du Lagerbestände in einem Warenlager verfolgst oder sicherstellst, dass Krankenhausabfälle korrekt entsorgt werden, dieses Setup hilft Systemen, reibungsloser zu laufen, reduziert Fehler und spart wertvolle Zeit.

Möchtest du mehr über Computer Vision und KI erfahren? Erkunde unser GitHub repository, vernetze dich mit our community und sieh dir our licensing options an, um dein Computer-Vision-Projekt zu starten. Wenn du Innovationen wie AI in manufacturing und computer vision in the automotive Industrie erkundest, besuche unsere Lösungsseiten, um mehr zu entdecken.