Ultralytics YOLO mit LiteRT exportieren

Bei Ultralytics beobachten wir einen zunehmenden Trend, Computer-Vision-Modelle direkt auf den Geräten auszuführen, auf denen sie benötigt werden, anstatt auf eine Verbindung zur Cloud angewiesen zu sein. Mobile Apps, eingebettete Systeme, IoT-Sensoren und browserbasierte Tools müssen Inferenz immer häufiger lokal ausführen – oft auf Hardware mit begrenztem Energie- und Rechenbudget. Deshalb freuen wir uns, bekannt zu geben, dass Ultralytics YOLO-Modelle jetzt direkt nach LiteRT exportiert werden können.

Um diesem Bedarf gerecht zu werden, braucht es ein Modellformat, das sich in all diesen Umgebungen einsetzen lässt, ohne dass Entwickler für jede Umgebung separate Export-Pipelines pflegen müssen.

Diese Funktion war zuvor über ein inoffizielles Paket eines Drittanbieters verfügbar. Die neue Integration ist jedoch das Ergebnis einer offiziellen Zusammenarbeit mit Google. Gemeinsam mit dem LiteRT-Team haben wir eine durchgängige Pipeline entwickelt, um Ultralytics YOLO-Modelle über LiteRT nach TFLite zu exportieren. Mit dieser Integration lässt sich ein einziges exportiertes Ultralytics YOLO-Modell auf Mobilgeräten, eingebetteten Systemen, Edge-Geräten und in Browsern einsetzen. So werden die zuvor getrennt behandelten Anwendungsfälle der älteren Exportformate TFLite und TF.js in einem optimierten Format vereint.

Was ist LiteRT?#

LiteRT (kurz für Lite Runtime) ist Googles leistungsstarke Laufzeitumgebung für KI direkt auf dem Gerät. Sie ist die nächste Generation und der neue Name der Lite-Version von TensorFlow (TFLite) und verwendet dasselbe .tflite-Modellformat, das Entwickler bereits kennen.

LiteRT ist ein Open-Source-Framework, das speziell für Inferenz direkt auf dem Gerät entwickelt wurde, auch bekannt als Edge Computing. Es bietet Entwicklern die Tools, um trainierte Modelle auf Mobilgeräten, eingebetteten Systemen und IoT-Geräten, herkömmlichen Computern sowie mit LiteRT.js direkt in Webbrowsern und Node.js auszuführen. Das LiteRT-Exportformat optimiert Modelle für Aufgaben wie Objekterkennung, Segmentierung, Posenschätzung und Klassifizierung, damit sie auf einer Vielzahl von Geräten schnell und offline laufen.

Warum Ultralytics YOLO-Modelle nach LiteRT exportieren?#

Ein Modellformat deckt jetzt alle Bereitstellungsziele ab:

• Mobilgeräte und eingebettete Systeme. Android, iOS, Desktop, eingebettetes Linux und Mikrocontroller (MCUs).

• Edge-Beschleuniger. Kompatibel mit dem Coral Edge TPU für zusätzliche Beschleunigung.

• Browser und Node.js. LiteRT.js führt dasselbe .tflite-Modell im Web mit WebGPU-/WASM-Beschleunigung aus und macht einen separaten TensorFlow.js-Export überflüssig.

• Desktop

Diese Vereinheitlichung ist wichtig, weil sie eine echte Hürde bei der Bereitstellung in der Produktion beseitigt. Statt eine Export-Pipeline für Mobilgeräte, eine weitere für den Browser und eine dritte für Edge-Beschleuniger zu pflegen, können Teams jetzt einmal exportieren und überall dort bereitstellen, wo LiteRT läuft.

Wichtige Funktionen von LiteRT-Modellen#

• Optimierung für die Ausführung auf dem Gerät. Verringert die Latenz durch lokale Datenverarbeitung, verbessert den Datenschutz, indem keine personenbezogenen Daten übertragen werden, und reduziert die Modellgröße, um Speicherplatz zu sparen.

• Unterstützung zahlreicher Plattformen. Läuft auf Android, iOS, eingebettetem Linux, Mikrocontrollern und modernen Webbrowsern.

• Hardwarebeschleunigung. Nutzt XNNPACK auf der CPU sowie GPU-Beschleunigung über OpenCL, Metal und WebGPU. Die GPU-Beschleunigung läuft standardmäßig mit FP16 und bietet dadurch zusätzliche Geschwindigkeit.

• Quantisierung. Unterstützt FP32, statisches INT8, statische INT16-Aktivierungen und dynamisches INT8, um Modelle zu komprimieren und die Inferenz bei minimalem Genauigkeitsverlust zu beschleunigen.

• Unterstützung verschiedener Programmiersprachen. Kompatibel mit Java/Kotlin, Swift, Objective-C, C++, Python und JavaScript.

Erste Schritte mit dem LiteRT-Export#

Das Ultralytics-Python-Paket und die Ultralytics Platform bieten eine vollständige, einheitliche Umgebung zum Trainieren, Bewerten und Bereitstellen von YOLO-Modellen für alle fünf Computer-Vision-Aufgaben. Das LiteRT-Exportformat unterstützt die Modi Export, Predict und Validate. So lässt sich ein Modell exportieren und anschließend direkt lokal für Inferenz oder Genauigkeitsvalidierung verwenden.

Ein Modell lässt sich mit einem einzigen Befehl exportieren:

from ultralytics import YOLO

# Ein YOLO26-Modell laden
model = YOLO("yolo26n.pt")

# Das Modell in das LiteRT-Format exportieren
model.export(format="litert") # erstellt 'yolo26n.tflite'

Für Teams, die Modelle auf Hardware mit begrenzten Ressourcen bereitstellen, unterstützt LiteRT auch den quantisierten Export. Damit lassen sich Modelle komprimieren und die Inferenz bei minimalem Genauigkeitsverlust beschleunigen:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Dynamisches INT8: int8-Gewichte, FP32-Aktivierungen – keine Kalibrierungsdaten erforderlich
model.export(format="litert", quantize="w8a32")

# Statisches INT8: int8-Gewichte + int8-Aktivierungen – Kalibrierungsdaten erforderlich
model.export(format="litert", quantize=8, data="coco8.yaml")

Nach dem Export lässt sich das Modell direkt laden und für Inferenz ausführen:

from ultralytics import YOLO

# Das exportierte LiteRT-Modell laden
model = YOLO("yolo26n.tflite")

# Inferenz ausführen
results = model("https://ultralytics.com/images/bus.jpg")

Der LiteRT-Export wird derzeit unter Linux x86_64 und macOS unterstützt. Das exportierte .tflite-Modell selbst läuft auf allen von LiteRT unterstützten Plattformen, einschließlich Mobilgeräten, eingebetteten Systemen, Edge-Geräten und Browsern.

Abb. 1. Leistungsvergleich zwischen ONNX und LiteRT.

Das obige Bild zeigt einen Vergleich der durchschnittlichen Inferenzzeit für Erkennung, Segmentierung und Posenschätzung mit YOLO26n. Das Modell läuft im Browser über @ultralytics/yolo, Ultralytics' npm-Paket für clientseitige Inferenz mit WebGPU/WASM über ONNX Runtime Web. Der Vergleich wurde 2024 auf einem Apple MacBook Pro (Apple Silicon M4) in einer kontrollierten Browserumgebung durchgeführt.

Ultralytics YOLO auf Edge-Geräte bringen#

Mit LiteRT lassen sich Ultralytics YOLO-Modelle auf Mobilgeräten, eingebetteten Systemen, Edge-Geräten und in Browsern bereitstellen, ohne für jedes Ziel separate Export-Pipelines zu benötigen. Ein Export, ein Modellformat und ein einheitlicher Weg vom Training bis zur Produktion – unabhängig davon, wo die Inferenz stattfinden soll.

Interessierst du dich für Vision-KI? Entdecke unsere Lizenzoptionen, um Computer Vision in deine Projekte zu integrieren. Besuche unser GitHub-Repository, um das gesamte Spektrum der Ultralytics-Exportintegrationen kennenzulernen, und sieh dir die Ultralytics Platform an, um deine eigenen durchgängigen Workflows für Vision-KI zu entwickeln.