Die ONNX-Integration zum Exportieren von Ultralytics YOLO-Modellen verwenden

Als KI-Lösungen erstmals Aufmerksamkeit erregten, wurden die meisten Modelle auf leistungsstarken Servern in kontrollierten Umgebungen bereitgestellt. Mit dem technologischen Fortschritt hat sich die Bereitstellung jedoch weit über Rechenzentren hinaus ausgeweitet.

Heute laufen KI-Modelle auf allen möglichen Systemen – von Cloud-Servern und Desktop-Computern bis hin zu Smartphones und Edge-Geräten. Dieser Wandel ermöglicht eine schnellere Verarbeitung, Offline-Funktionen und intelligentere Systeme, die näher am Ort der Datenerzeugung arbeiten.

Besonders deutlich zeigt sich das im Bereich des maschinellen Sehens – einem Teilgebiet der KI, das Maschinen die Interpretation visueller Daten ermöglicht. Es wird für Anwendungen wie Gesichtserkennung, autonomes Fahren und Echtzeit-Videoanalyse eingesetzt. Mit dem Wachstum dieser Anwendungsfälle steigt auch der Bedarf an Modellen, die reibungslos auf unterschiedlichster Hardware und verschiedenen Plattformen laufen können.

Die Bereitstellung von Modellen für maschinelles Sehen auf verschiedenen Zielsystemen ist jedoch nicht immer einfach. Geräte unterscheiden sich hinsichtlich Hardware, Betriebssystemen und unterstützten Frameworks, weshalb Flexibilität und Kompatibilität entscheidend sind.

Deshalb ist die Möglichkeit, Modelle für maschinelles Sehen wie Ultralytics YOLO11 in verschiedene Formate zu exportieren, besonders wichtig. Die von Ultralytics unterstützte ONNX-Integration bietet beispielsweise eine praktische Möglichkeit, die Lücke zwischen Training und Bereitstellung zu schließen. ONNX ist ein offenes Format, das Modelle unabhängig von Frameworks und plattformübergreifend bereitstellbar macht.

Abb. 1. Mit ONNX kannst du ein in einem Framework trainiertes Modell einfach in einem anderen ausführen.

In diesem Artikel sehen wir uns die von Ultralytics unterstützte ONNX-Integration genauer an und zeigen, wie du dein YOLO11-Modell für eine flexible, plattformübergreifende Bereitstellung exportieren kannst.

Was sind ONNX und ONNX Runtime?#

Der offene Austausch für neuronale Netze ist ein Open-Source-Projekt, das ein Standardformat für Modelle des maschinellen Lernens definiert. Ursprünglich von Microsoft und Facebook entwickelt, ermöglicht es Entwicklern, ein Modell in einem Framework wie PyTorch zu trainieren und in einem anderen, etwa TensorFlow, auszuführen. Das macht die KI-Entwicklung flexibler, kollaborativer und zugänglicher, insbesondere in Bereichen wie dem maschinellen Sehen.

ONNX stellt einen einheitlichen Satz von Operatoren und ein einheitliches Dateiformat bereit. Dadurch lassen sich Modelle leichter zwischen verschiedenen Tools, Frameworks, Laufzeitumgebungen und Compilern übertragen. Normalerweise ist ein in einem Framework trainiertes Modell nicht ohne Weiteres mit einem anderen kompatibel. Mit ONNX kannst du dein Modell jedoch einmal exportieren und fast überall bereitstellen: auf CPUs (Zentraleinheiten), GPUs (Grafikprozessoren), Mobilgeräten oder Edge-Hardware.

ONNX Runtime ist außerdem eine speziell für die Ausführung von Modellen im ONNX-Format entwickelte, leistungsstarke Inferenz-Engine. Sie wurde entwickelt, um ONNX-Modelle auf einer Vielzahl von Plattformen – darunter Server, Mobilgeräte und Edge-Hardware – schneller und effizienter auszuführen. ONNX Runtime ist mit gängigen Frameworks wie PyTorch, TensorFlow, TensorFlow Lite und scikit-learn kompatibel, sodass es sich einfach in verschiedene Workflows integrieren und Modelle dort bereitstellen lässt, wo sie benötigt werden.

Abb. 2. ONNX und ONNX Runtime ermöglichen eine flexible, plattformübergreifende Bereitstellung von Modellen.

Wichtige Funktionen von ONNX#

Bevor wir besprechen, wie du Ultralytics YOLO11 in das ONNX-Format exportierst, sehen wir uns einige wichtige Funktionen des ONNX-Modellformats an.

Egal, ob du zwischen Tools wechselst, Modelle auf unterschiedlichen Geräten bereitstellst oder Systeme aktualisierst: ONNX sorgt dafür, dass alles reibungslos läuft. Das macht das ONNX-Modellformat einzigartig:

• Ein einheitliches Format: ONNX verwendet eine gemeinsame Beschreibung dafür, wie Modelle aufgebaut sind, etwa aus Schichten und Operationen (stell sie dir als Bausteine vor). Wenn ein Modell in ONNX konvertiert wird, folgt es diesem Standard, sodass jedes ONNX-kompatible System es verstehen und ausführen kann.

• Abwärtskompatibilität: Obwohl ONNX kontinuierlich weiterentwickelt wird, stellt es sicher, dass ältere Modelle auch mit neueren Versionen funktionieren. Du musst deine Modelle also nicht bei jeder Aktualisierung von ONNX neu trainieren oder erstellen.

• Graphbasierter Modellaufbau: ONNX-Modelle sind als Berechnungsgraphen strukturiert. Jeder Knoten stellt eine Operation dar, etwa eine Schicht oder eine mathematische Funktion, während Kanten den Datenfluss anzeigen. Dieser graphbasierte Aufbau erleichtert die Integration in verschiedene Systeme, die ähnliche Berechnungsgraphstrukturen verwenden.

• Entwicklerfreundliche Tools: ONNX umfasst eine große Auswahl an Tools, mit denen du deine Modelle konvertieren, validieren und optimieren kannst. Diese Tools vereinfachen die Übertragung von Modellen zwischen verschiedenen Frameworks und können die Bereitstellung beschleunigen – insbesondere bei Anwendungen für maschinelles Sehen.

Ein Überblick über die ONNX-Integration#

Der Export von Ultralytics YOLO-Modellen wie Ultralytics YOLO11 im ONNX-Format ist unkompliziert und in wenigen Schritten möglich.

Installiere zunächst das Ultralytics Python-Paket mit einem Paketmanager wie „pip“. Führe dazu in der Eingabeaufforderung oder im Terminal den Befehl “pip install ultralytics” aus.

Mit dem Ultralytics-Paket kannst du Modelle für verschiedene Aufgaben des maschinellen Sehens einfach trainieren, testen, feinabstimmen, exportieren und bereitstellen. Falls bei der Installation Schwierigkeiten auftreten, findest du im Leitfaden zu häufigen Problemen Lösungen und Tipps.

Sobald das Ultralytics-Paket installiert ist, kannst du das YOLO11-Modell mit dem folgenden Code laden und in das ONNX-Format exportieren. Dieses Beispiel lädt ein vortrainiertes YOLO11-Modell (yolo11n.pt) und exportiert es als ONNX-Datei (yolo11n.onnx), sodass es für die Bereitstellung auf verschiedenen Plattformen und Geräten bereitsteht.

Nachdem du dein Modell in das ONNX-Format konvertiert hast, kannst du es auf einer Vielzahl von Plattformen bereitstellen.

Das folgende Beispiel zeigt, wie du das exportierte YOLO11-Modell (yolo11n.onnx) lädst und damit eine Inferenz ausführst. Inferenz bedeutet einfach, das trainierte Modell zu verwenden, um Vorhersagen für neue Daten zu treffen. In diesem Fall verwenden wir die URL eines Busbildes, um das Modell zu testen.

Wenn du diesen Code ausführst, wird das folgende Ausgabebild im Ordner runs/detect/predict gespeichert.

Abb. 3. Ausführen einer Inferenz mit dem exportierten Ultralytics-YOLO11-Modell auf einem Bild.

Wann solltest du die ONNX-Integration wählen?#

Das Ultralytics Python-Paket unterstützt den Export von Modellen in mehrere Formate, darunter TorchScript, CoreML, TensorRT und ONNX. Warum also ONNX wählen?

ONNX zeichnet sich dadurch aus, dass es ein formatunabhängiges Format ist. Während viele andere Exportformate an bestimmte Tools oder Umgebungen gebunden sind, verwendet ONNX ein standardisiertes Format und einen gemeinsamen Satz von Operatoren. Dadurch ist es äußerst portabel, hardwarefreundlich und ideal für die plattformübergreifende Bereitstellung – unabhängig davon, ob du mit Cloud-Servern, mobilen Apps oder Edge-Geräten arbeitest.

Hier sind einige Gründe, warum die ONNX-Integration die ideale Wahl für deine Ultralytics-YOLO11-Projekte sein könnte:

• Portable Bereitstellung: Sobald dein Ultralytics-YOLO11-Modell in ONNX exportiert wurde, kannst du es ohne Codeänderungen oder erneutes Training auf verschiedenen Plattformen bereitstellen.

• Branchenweite Unterstützung: ONNX wird von führenden KI-Unternehmen und Frameworks unterstützt und ist daher ein zuverlässiges, weithin akzeptiertes Format. Es gewährleistet langfristige Kompatibilität – ähnlich wie PDF-Dateien auf verschiedenen Geräten funktionieren.

• Zukunftssichere Entwicklung: Mit ONNX schützt du deine Investitionen in Modelle. Während sich Tools weiterentwickeln, bleiben deine Modelle relevant und nutzbar, auch in neuen oder veränderten Umgebungen.

• Keine Abhängigkeit von einem Anbieter: Einige Tools binden dich an ihr eigenes System und können dadurch die Möglichkeiten deines Modells einschränken. ONNX vermeidet das, indem du die Plattform wählen kannst, die am besten zu deinen Anforderungen passt, ohne an eine einzige Konfiguration gebunden zu sein.

Anwendungen von Ultralytics YOLO11 und dem ONNX-Modellformat#

Sehen wir uns nun einige praktische Anwendungen an, bei denen Ultralytics YOLO11 mithilfe der ONNX-Integration bereitgestellt werden kann.

Bestandsverfolgung in Lagern mit Ultralytics YOLO11#

In stark ausgelasteten Lagern ist es schwierig, jederzeit jedes Produkt und jedes Paket im Blick zu behalten. Systeme für maschinelles Sehen können Mitarbeitenden helfen, Produkte in Regalen zu finden und Informationen wie die Anzahl oder Art der Produkte zu ermitteln. Solche Systeme können Unternehmen dabei unterstützen, ihren umfangreichen Bestand automatisch zu verwalten und den Lager Mitarbeitenden viel Zeit zu sparen.

Insbesondere in intelligenten Lagern können in ONNX exportierte Ultralytics-YOLO11-Modelle verwendet werden, um mithilfe von Kameras und Edge-Geräten Objekte in Echtzeit zu erkennen und zu zählen. Das exportierte Modell kann Regale oder Paletten scannen, um Lagerbestände, fehlende Artikel oder leere Plätze zu erkennen. Da der Export in ONNX das Modell kompakt und effizient macht, kann es direkt auf kleinen Edge-Geräten wie intelligenten Kameras ausgeführt werden, sodass keine teuren Server oder ein ständiger Cloud-Zugriff erforderlich sind.

Abb. 4. Beispiel für die Erkennung und Zählung von Paketen mit YOLO11.

Verwaltung von Krankenhausabfällen mit Ultralytics YOLO11#

Krankenhäuser auf der ganzen Welt erzeugen täglich große Mengen an Abfällen – von gebrauchten Handschuhen und Spritzen bis hin zu während Operationen verwendeten Geräten, etwa Einweg- oder kontaminierten chirurgischen Instrumenten wie Scheren und Skalpellen. Untersuchungen zeigen tatsächlich, dass Krankenhäuser jährlich rund 5 Millionen Tonnen Abfall erzeugen, also 29 Pfund Abfall pro Bett und Tag.

Die ordnungsgemäße Sortierung solcher Abfälle ist für Hygiene, Sicherheit und die Einhaltung von Vorschriften unerlässlich. Mit im ONNX-Format exportierten Ultralytics-YOLO11-Modellen können Krankenhäuser die Abfallentsorgung automatisieren und in Echtzeit überwachen.

Beispielsweise können Kameras in der Nähe von Abfallbehältern in Bereichen wie Operationssälen oder Fluren die entsorgten Gegenstände überwachen. Ein speziell trainiertes Ultralytics-YOLO11-Modell, das verschiedene Arten medizinischer Abfälle erkennt, kann die Aufnahmen analysieren und feststellen, was entsorgt wird. Wenn ein Gegenstand im falschen Behälter landet, etwa eine gebrauchte Spritze im normalen Restmüll, kann das System das Personal sofort per Licht- oder Tonsignal alarmieren, um Kontaminationen zu verhindern und die Einhaltung der Vorschriften sicherzustellen.

Abb. 5. Erkennung medizinischer Instrumente mit Ultralytics YOLO11.

Überwachung von Nutzpflanzen mit Ultralytics YOLO11#

Der richtige Zeitpunkt für die Ernte kann großen Einfluss auf die Qualität der Erzeugnisse und die Gesamtproduktivität eines Betriebs haben. Traditionell verlassen sich Landwirte auf ihre Erfahrung und manuelle Kontrollen – doch dank des technologischen Fortschritts beginnt sich das zu ändern.

Mit Innovationen im maschinellen Sehen wie YOLO11, das im ONNX-Format exportiert wurde, können Landwirte nun Automatisierung und Präzision auf das Feld bringen. Mithilfe von Drohnen oder an Traktoren beziehungsweise Masten montierten Kameras können sie Bilder ihrer Nutzpflanzen aufnehmen, etwa von Tomaten, Äpfeln oder Weizen. Anschließend kann YOLO11 wichtige Merkmale wie Farbe, Größe und die Verteilung der Nutzpflanzen erkennen. Auf dieser Grundlage können Landwirte bestimmen, ob die Pflanzen erntereif sind, noch reifen oder ihren optimalen Zeitpunkt bereits überschritten haben.

Abb. 6. YOLO11 kann verwendet werden, um Nutzpflanzen in Luftaufnahmen einer Drohne zu erkennen.

Zu berücksichtigende Einschränkungen von ONNX#

ONNX bietet zwar zahlreiche Vorteile wie Portabilität, plattformübergreifende Kompatibilität und die Zusammenarbeit zwischen Frameworks, doch es gibt einige Einschränkungen, die du beachten solltest:

• Modellgröße: Die Konvertierung von Modellen in das ONNX-Format kann im Vergleich zum ursprünglichen Format zu größeren Dateien führen. Techniken wie Quantisierung und Pruning können dieses Problem mindern, indem sie die Modellgröße reduzieren, ohne die Leistung wesentlich zu beeinträchtigen.

• Kompatibilität der Laufzeitumgebung: Obwohl ONNX Runtime für die plattformübergreifende Kompatibilität entwickelt wurde, können Leistung und Unterstützung je nach Hardware und Betriebssystem variieren.

• Herausforderungen beim Debugging: Das Debugging von ONNX-Modellen kann komplexer sein als in nativen Frameworks wie PyTorch oder TensorFlow. Fehlermeldungen sind möglicherweise weniger aussagekräftig, wodurch sich Probleme schwerer eingrenzen lassen. Tools wie Netron zur Visualisierung von Modellen und die Protokollierungsfunktionen von ONNX Runtime können jedoch bei der Fehlersuche helfen.

Wichtige Erkenntnisse#

Durch den Export von Ultralytics YOLO11 in ONNX kannst du ein trainiertes Modell für maschinelles Sehen einfach fast überall bereitstellen – auf einem Laptop, einem Mobilgerät oder sogar einer kompakten intelligenten Kamera. Mit der ONNX-Integration bist du nicht an ein einzelnes Framework oder eine einzelne Plattform gebunden und kannst dein Modell in der Umgebung ausführen, die am besten zu deiner Anwendung passt.

Dadurch wird der Übergang vom Training zur praktischen Bereitstellung schneller und effizienter. Egal, ob du Bestände in einem Lager verfolgst oder sicherstellst, dass Krankenhausabfälle ordnungsgemäß entsorgt werden: Diese Konfiguration sorgt für reibungslosere Abläufe, reduziert Fehler und spart wertvolle Zeit.

Möchtest du mehr über maschinelles Sehen und KI erfahren? Entdecke unser GitHub-Repository, tausche dich mit unserer Community aus und sieh dir unsere Lizenzoptionen an, um dein Projekt für maschinelles Sehen zu starten. Wenn du Innovationen wie KI in der Fertigung und maschinelles Sehen in der Automobilindustrie erkundest, besuche unsere Lösungsseiten und erfahre mehr.