ONNX (Open Neural Network Exchange)

ONNX (Open Neural Network Exchange) ist ein Open-Source-Format zur Darstellung von Modellen des maschinellen Lernens, das die Interoperabilität zwischen verschiedenen KI-Frameworks und -Tools ermöglicht. Es dient als universeller Übersetzer für Deep Learning und versetzt Entwickler in die Lage, Modelle in einem Framework – wie PyTorch, TensorFlow oder Scikit-learn – zu erstellen und sie nahtlos in einer anderen, für die Inferenz optimierten Umgebung bereitzustellen. Durch die Definition eines gemeinsamen Satzes von Operatoren und eines Standard-Dateiformats eliminiert ONNX die Notwendigkeit komplexer, benutzerdefinierter Konvertierungsskripte, die früher erforderlich waren, um Modelle von der Forschung in die Produktion zu überführen. Diese Flexibilität ist entscheidend für moderne KI-Workflows, bei denen das Training auf leistungsstarken Cloud-GPUs stattfinden kann, während die Bereitstellung auf verschiedene Hardware wie Edge-Geräte, Mobiltelefone oder Webbrowser abzielt.

Die Rolle von ONNX in der modernen KI#

In der sich rasant entwickelnden Landschaft der künstlichen Intelligenz verwenden Forscher und Ingenieure oft unterschiedliche Tools für verschiedene Phasen des Entwicklungslebenszyklus. Ein Data Scientist bevorzugt möglicherweise die Flexibilität von PyTorch für Experimente und Training, während ein Produktionsingenieur die optimierte Leistung von TensorRT oder OpenVINO für die Bereitstellung benötigt. Ohne ein standardisiertes Austauschformat ist die Verlagerung eines Modells zwischen diesen Ökosystemen schwierig und fehleranfällig.

ONNX schließt diese Lücke, indem es eine gemeinsame Definition des Rechengraphen bereitstellt. Wenn ein Modell nach ONNX exportiert wird, wird es in ein Format serialisiert, das die Netzwerkstruktur (Schichten, Verbindungen) und Parameter (Gewichte, Biases) auf Framework-unabhängige Weise erfasst. Dies ermöglicht es Inferenz-Engines, die speziell auf Hardwarebeschleunigung abgestimmt sind – wie die ONNX Runtime –, das Modell effizient über mehrere Plattformen hinweg auszuführen, einschließlich Linux, Windows, macOS, Android und iOS.

Hauptvorteile der Verwendung von ONNX#

Die Einführung des Open Neural Network Exchange Formats bietet mehrere strategische Vorteile für KI-Projekte:

• Framework-Interoperabilität: Entwickler können zwischen Frameworks wechseln, ohne an ein einziges Ökosystem gebunden zu sein. Du kannst ein Modell mit der benutzerfreundlichen Ultralytics Python API trainieren und es für die Verwendung in einer C++-Anwendung oder einer webbasierten JavaScript-Umgebung exportieren.
• Hardware-Optimierung: Viele Hardwarehersteller stellen spezialisierte Ausführungsprovider zur Verfügung, die eine Schnittstelle zu ONNX bilden. Das bedeutet, dass eine einzelne .onnx-Datei auf NVIDIA-GPUs, Intel-CPUs oder mobilen NPUs (Neural Processing Units) mit Tools wie OpenVINO oder CoreML beschleunigt werden kann.
• Schnellere Inferenz: Die ONNX Runtime wendet Graphenoptimierungen an – wie Node-Fusion und Constant Folding –, die die Inferenzlatenz erheblich reduzieren können. Dies ist unerlässlich für Echtzeitanwendungen wie autonome Fahrzeuge oder Hochgeschwindigkeits-Fertigungslinien.
• Vereinfachte Bereitstellung: Anstatt für jedes Trainings-Framework separate Bereitstellungspipelines zu pflegen, können Engineering-Teams ONNX als Bereitstellungsformat standardisieren und so ModelOps-Prozesse optimieren.

Praxisanwendungen#

Die Vielseitigkeit von ONNX macht es zu einem festen Bestandteil in verschiedenen Branchen. Hier sind zwei konkrete Beispiele für seine Anwendung:

Edge AI auf mobilen Geräten#

Betrachte eine mobile Anwendung, die für die Echtzeit-Überwachung der Pflanzengesundheit entwickelt wurde. Das Modell wird möglicherweise auf einem leistungsstarken Cloud-Server anhand eines großen Datensatzes von Pflanzenbildern trainiert. Die App muss jedoch offline auf dem Smartphone eines Landwirts laufen. Durch den Export des trainierten Modells nach ONNX können Entwickler es mithilfe von ONNX Runtime Mobile in die mobile App integrieren. Dies ermöglicht es dem Prozessor des Telefons, Objekterkennung lokal auszuführen und Schädlinge oder Krankheiten sofort zu identifizieren, ohne dass eine Internetverbindung erforderlich ist.

Plattformübergreifende Web-Inferenz#

Im E-Commerce kann eine Funktion zur "virtuellen Anprobe" Pose Estimation verwenden, um Kleidung über den Webcam-Feed eines Benutzers zu legen. Das Training dieses Modells findet möglicherweise in Python statt, das Bereitstellungsziel ist jedoch ein Webbrowser. Mit ONNX kann das Modell konvertiert und direkt im Browser des Benutzers über ONNX Runtime Web ausgeführt werden. Dies nutzt die Funktionen des Client-Geräts (WebGL oder WebAssembly) für Computer-Vision-Aufgaben und sorgt für ein reibungsloses, datenschutzfreundliches Erlebnis, da Videodaten den Computer des Benutzers niemals verlassen.

Vergleich mit verwandten Begriffen#

Es ist hilfreich, ONNX von anderen Modellformaten und Tools zu unterscheiden:

• vs. TensorRT: Während ONNX ein Austauschformat ist, handelt es sich bei TensorRT um eine Inferenz-Engine und einen Optimierer speziell für NVIDIA-GPUs. Ein üblicher Workflow besteht darin, ein Modell zunächst nach ONNX zu exportieren und diese ONNX-Datei dann in TensorRT zu parsen, um maximalen Durchsatz auf NVIDIA-Hardware zu erzielen.
• vs. TensorFlow SavedModel: SavedModel ist das native Serialisierungsformat für TensorFlow. Zwar ist es innerhalb des Google-Ökosystems robust, aber weniger universell kompatibel als ONNX. Es gibt oft Tools, um SavedModels in ONNX zu konvertieren, um eine breitere Plattformunterstützung zu erhalten.
• vs. CoreML: CoreML ist das Apple-Framework für maschinelles Lernen auf dem Gerät. Obwohl sie unterschiedlich sind, werden Modelle häufig von PyTorch nach ONNX und dann von ONNX nach CoreML (oder direkt) konvertiert, um effizient auf iPhones und iPads zu laufen.

Export nach ONNX mit Ultralytics#

Das Ultralytics-Ökosystem vereinfacht den Prozess der Konvertierung von State-of-the-Art-Modellen wie YOLO26 in das ONNX-Format. Die Exportfunktionalität ist direkt in die Bibliothek integriert und übernimmt die komplexe Graphentraversierung und Operatorzuordnung automatisch.

Das folgende Beispiel zeigt, wie du ein vortrainiertes Ultralytics YOLO26-Modell für die Bereitstellung in das ONNX-Format exportierst:

from ultralytics import YOLO

# Load the YOLO26n model (Nano version recommended for edge deployment)
model = YOLO("yolo26n.pt")

# Export the model to ONNX format
# The 'dynamic' argument enables variable input sizes
path = model.export(format="onnx", dynamic=True)

print(f"Model exported successfully to: {path}")

Einmal exportiert, kann diese .onnx-Datei in der Ultralytics Platform zur Verwaltung genutzt oder direkt mithilfe der ONNX Runtime auf Edge-Geräten bereitgestellt werden, wodurch Hochleistungs-Computer-Vision in praktisch jeder Umgebung zugänglich wird.