Ultralytics YOLO mit LiteRT exportieren

Bei Ultralytics beobachten wir eine zunehmende Verlagerung hin zur direkten Ausführung von Computervisionsmodellen auf den Geräten, auf denen sie benötigt werden, statt auf eine Verbindung zur Cloud angewiesen zu sein. Mobile Apps, eingebettete Systeme, IoT-Sensoren und browserbasierte Werkzeuge müssen Inferenz zunehmend lokal ausführen, oft auf Hardware mit begrenzten Energie- und Rechenressourcen. Deshalb freuen wir uns, bekannt zu geben, dass Ultralytics YOLO-Modelle jetzt direkt nach LiteRT exportiert werden können.

Um diesen Bedarf zu decken, ist ein Modellformat erforderlich, das sich über all diese Umgebungen hinweg einsetzen lässt, ohne Entwickler dazu zu zwingen, für jede einzelne Umgebung separate Exportpipelines zu verwalten.

Diese Möglichkeit bestand bereits zuvor über ein inoffizielles Paket eines Drittanbieters, doch diese neue Integration ist das Ergebnis einer offiziellen Zusammenarbeit mit Google. Wir haben eng mit dem LiteRT-Team zusammengearbeitet, um eine durchgängige Pipeline für den Export von Ultralytics YOLO-Modellen nach TFLite über LiteRT zu entwickeln. Mit dieser Integration lässt sich ein einziges exportiertes Ultralytics YOLO-Modell in mobilen, eingebetteten, Edge- und Browserumgebungen bereitstellen. Damit werden die zuvor separat von den älteren Exportformaten TFLite und TF.js abgedeckten Anwendungsfälle in einem optimierten Format vereint.

Was ist LiteRT?#

LiteRT (kurz für Lite Runtime) ist Googles leistungsstarke Laufzeitumgebung für KI auf Geräten. Es ist die nächste Generation und der neue Name von TensorFlow Lite (TFLite) und verwendet dasselbe .tflite-Modellformat, das Entwickler bereits kennen.

LiteRT ist ein Open-Source-Framework, das speziell für die Inferenz auf Geräten, auch bekannt als Edge Computing, entwickelt wurde. Es stellt Entwicklern Werkzeuge zur Verfügung, um trainierte Modelle auf mobilen und eingebetteten Geräten, IoT-Geräten sowie herkömmlichen Computern auszuführen und über LiteRT.js direkt in Webbrowsern und Node.js einzusetzen. Das LiteRT-Exportformat optimiert Modelle für Aufgaben wie Objekterkennung, Segmentierung, Posenschätzung und Klassifizierung, sodass sie auf einer Vielzahl von Geräten schnell und offline ausgeführt werden können.

Warum Ultralytics YOLO-Modelle nach LiteRT exportieren?#

Ein Modellformat deckt jetzt jedes Ziel für die Bereitstellung ab:

• Mobil und eingebettet. Android, iOS, Desktop, eingebettetes Linux und Mikrocontroller (MCUs).

• Edge-Beschleuniger. Kompatibel mit dem Coral Edge TPU für zusätzliche Beschleunigung.

• Browser und Node.js. LiteRT.js führt dasselbe .tflite-Modell im Web mit WebGPU/WASM-Beschleunigung aus und macht einen separaten TensorFlow.js-Export überflüssig.

• Desktop

Diese Zusammenführung ist wichtig, weil sie eine echte Reibungsquelle bei Produktivbereitstellungen beseitigt. Statt eine Exportpipeline für Mobilgeräte, eine weitere für den Browser und eine dritte für Edge-Beschleuniger zu verwalten, können Teams jetzt einmal exportieren und überall dort bereitstellen, wo LiteRT ausgeführt wird.

Wichtige Funktionen von LiteRT-Modellen#

• Optimierung auf dem Gerät. Verringert die Latenz durch lokale Datenverarbeitung, verbessert den Datenschutz, da keine personenbezogenen Daten übertragen werden, und reduziert die Modellgröße, um Speicherplatz zu sparen.

• Unterstützung mehrerer Plattformen. Läuft auf Android, iOS, eingebettetem Linux, Mikrocontrollern und modernen Webbrowsern.

• Hardwarebeschleunigung. Nutzt XNNPACK auf der CPU sowie GPU-Beschleunigung über OpenCL, Metal und WebGPU. Die GPU-Beschleunigung läuft standardmäßig mit FP16, um die Geschwindigkeit weiter zu erhöhen.

• Quantisierung. Unterstützt FP32, statisches INT8, statisches INT16-activation und dynamisches INT8, um Modelle zu komprimieren und die Inferenz bei minimalem Genauigkeitsverlust zu beschleunigen.

• Unterstützung verschiedener Programmiersprachen. Kompatibel mit Java/Kotlin, Swift, Objective-C, C++, Python und JavaScript.

Erste Schritte mit dem LiteRT-Export#

Das Ultralytics Python-Paket und die Ultralytics Platform bieten eine vollständige, einheitliche Umgebung zum Trainieren, Bewerten und Bereitstellen von YOLO-Modellen für alle fünf Computervisionsaufgaben. Das LiteRT-Exportformat unterstützt die Modi Export, Predict und Validate, sodass ein Modell exportiert und anschließend sofort lokal für die Inferenz oder Genauigkeitsvalidierung verwendet werden kann.

Der Export eines Modells erfordert nur einen einzigen Befehl:

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to LiteRT format
model.export(format="litert") # creates 'yolo26n.tflite'

Für Teams, die Modelle auf Hardware mit begrenzten Ressourcen bereitstellen, unterstützt LiteRT auch den quantisierten Export. Dadurch können Modelle für eine schnellere Inferenz bei minimalem Genauigkeitsverlust komprimiert werden:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Dynamic INT8: int8 weights, FP32 activations - no calibration data needed
model.export(format="litert", quantize="w8a32")

# Static INT8: int8 weights + int8 activations - needs calibration data
model.export(format="litert", quantize=8, data="coco8.yaml")

Nach dem Export kann das Modell direkt geladen und für die Inferenz ausgeführt werden:

from ultralytics import YOLO

# Load the exported LiteRT model
model = YOLO("yolo26n.tflite")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

Der LiteRT-Export wird derzeit unter Linux x86_64 und macOS unterstützt. Das exportierte .tflite-Modell selbst läuft auf jeder von LiteRT unterstützten Plattform, einschließlich Mobilgeräten, eingebetteten Systemen, Edge-Geräten und Browsern.

Abb. 1. Leistungsvergleich zwischen ONNX und LiteRT.

Das obige Bild zeigt einen Vergleich der mittleren Inferenzzeit für Erkennung, Segmentierung und Posenschätzung mit YOLO26n, das über @ultralytics/yolo, dem npm-Paket von Ultralytics für clientseitige Inferenz mit WebGPU/WASM über ONNX Runtime Web, im Browser ausgeführt wird. Der Benchmark wurde auf einem Apple MacBook Pro aus dem Jahr 2024 (Apple Silicon M4) in einer kontrollierten Browserumgebung durchgeführt.

Ultralytics YOLO auf Edge-Geräte bringen#

Mit LiteRT erfordert die Bereitstellung von Ultralytics YOLO-Modellen in mobilen, eingebetteten, Edge- und Browserumgebungen keine separaten Exportpipelines mehr für jedes Ziel. Ein Export, ein Modellformat und ein konsistenter Weg vom Training bis zur Produktion – überall dort, wo Inferenz stattfinden muss.

Interessierst du dich für visuelle KI? Entdecke unsere Lizenzoptionen, um Computer Vision in deine Projekte zu integrieren. Besuche unser GitHub-Repository, um das gesamte Spektrum der Ultralytics-Exportintegrationen zu erkunden, und sieh dir die Ultralytics Platform an, um deine eigenen durchgängigen Workflows für visuelle KI zu entwickeln.