Exportieren von Ultralytics YOLO mit LiteRT

Bei Ultralytics erleben wir einen wachsenden Trend hin zur Ausführung von computer vision models direkt auf den Geräten, auf denen sie benötigt werden, anstatt sich auf eine Verbindung zur Cloud zu verlassen. Mobile Apps, eingebettete Systeme, IoT-Sensoren und browserbasierte Tools müssen zunehmend Inferenzen lokal ausführen, häufig auf Hardware mit begrenztem Strom- und Rechenbudget.Aus diesem Grund freuen wir uns, bekannt zu geben, dass Ultralytics YOLO Modelle ab sofort direkt nach LiteRT exportiert werden können.

Um diesen Bedarf zu decken, ist ein Modellformat erforderlich, das in all diesen Umgebungen funktioniert, ohne dass Entwickler für jede davon separate Export-Pipelines pflegen müssen.

Diese Fähigkeit existierte zuvor über ein inoffizielles Drittanbieter-Paket, aber diese neue Integration ist das Ergebnis einer offiziellen Zusammenarbeit mit Google. Wir haben eng mit dem LiteRT-Team zusammengearbeitet, um eine End-to-End-Pipeline für den Export von Ultralytics YOLO-Modellen nach TFLite via LiteRT zu entwickeln. Mit dieser Integration wird ein einziges exportiertes Ultralytics YOLO-Modell auf Mobil-, Embedded-, Edge- und Browser-Umgebungen bereitgestellt, was die bisher getrennten Exportformate TFLite und TF.js in einem optimierten Format vereint.

Was ist LiteRT?#

LiteRT (kurz für Lite Runtime) ist die leistungsstarke Laufzeitumgebung von Google für On-Device-KI. Sie ist die nächste Generation und der neue Name für TensorFlow Lite (TFLite) und führt dasselbe .tflite-Modellformat aus, das Entwickler bereits kennen.

LiteRT ist ein Open-Source-Framework, das speziell für On-Device-Inferenz entwickelt wurde, auch bekannt als edge computing. Es gibt Entwicklern die Werkzeuge an die Hand, um trainierte Modelle auf Mobil-, Embedded- und IoT-Geräten, herkömmlichen Computern und über LiteRT.js direkt in Webbrowsern und Node.js auszuführen. Das LiteRT-Exportformat optimiert Modelle für Aufgaben wie object detection, segmentation, pose estimation und classification, sodass sie auf einer Vielzahl von Geräten schnell und offline laufen.

Warum Ultralytics YOLO-Modelle nach LiteRT exportieren?#

Ein Modellformat deckt jetzt jedes Bereitstellungsziel ab:

• Mobil & Embedded. Android, iOS, Desktop, Embedded Linux und Mikrocontroller (MCUs).

• Edge accelerators. Kompatibel mit der Coral Edge TPU für weitere Beschleunigung.

• Browser & Node.js. LiteRT.js führt dasselbe .tflite-Modell im Web mit WebGPU/WASM-Beschleunigung aus und ersetzt die Notwendigkeit für einen separaten TensorFlow.js-Export.

• Desktop

Diese Konsolidierung ist wichtig, da sie eine echte Reibungsquelle bei der Bereitstellung in der Produktion beseitigt. Anstatt eine Export-Pipeline für Mobilgeräte, eine für den Browser und eine dritte für Edge-Beschleuniger zu pflegen, können Teams jetzt einmal exportieren und überall dort bereitstellen, wo LiteRT läuft.

Hauptfunktionen von LiteRT-Modellen#

• On-Device-Optimierung. Reduziert die Latenz durch lokale Datenverarbeitung, verbessert den Datenschutz, da keine persönlichen Daten übertragen werden, und minimiert die Modellgröße, um Platz zu sparen.

• Unterstützung mehrerer Plattformen. Läuft auf Android, iOS, Embedded Linux, Mikrocontrollern und modernen Webbrowsern.

• Hardware-Beschleunigung. Nutzt XNNPACK auf der CPU sowie GPU-Beschleunigung via OpenCL, Metal und WebGPU. Die GPU-Beschleunigung läuft standardmäßig in FP16 für zusätzliche Geschwindigkeit.

• Quantisierung. Unterstützt FP32, statische INT8, statische INT16-Aktivierung und dynamische INT8, um Modelle zu komprimieren und die Inferenz mit minimalem Genauigkeitsverlust zu beschleunigen.

• Vielfältige Sprachunterstützung. Kompatibel mit Java/Kotlin, Swift, Objective-C, C++, Python und JavaScript.

Erste Schritte mit dem LiteRT-Export#

Das Ultralytics Python package und die Ultralytics Platform bieten eine vollständige, einheitliche Umgebung zum Trainieren, Evaluieren und Bereitstellen von YOLO Modellen für alle fünf Computer-Vision-Aufgaben. Das LiteRT-Exportformat unterstützt die Modi Export, Predict und Validate, sodass ein Modell exportiert und anschließend sofort lokal für Inferenz oder Genauigkeitsvalidierung verwendet werden kann.

Der Export eines Modells erfolgt mit einem einzigen Befehl:

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to LiteRT format
model.export(format="litert") # creates 'yolo26n.tflite'

Für Teams, die auf eingeschränkter Hardware bereitstellen, unterstützt LiteRT auch den quantisierten Export, wodurch Modelle für eine schnellere Inferenz mit minimalem Genauigkeitsverlust komprimiert werden können:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Dynamic INT8: int8 weights, FP32 activations - no calibration data needed
model.export(format="litert", quantize="w8a32")

# Static INT8: int8 weights + int8 activations - needs calibration data
model.export(format="litert", quantize=8, data="coco8.yaml")

Nach dem Export kann das Modell geladen und direkt für die Inferenz ausgeführt werden:

from ultralytics import YOLO

# Load the exported LiteRT model
model = YOLO("yolo26n.tflite")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

Der LiteRT-Export wird derzeit auf Linux x86_64 und macOS unterstützt. Das exportierte .tflite-Modell selbst läuft auf jeder LiteRT-unterstützten Plattform, einschließlich Mobil-, Embedded-, Edge- und Browser-Umgebungen.

Abb. 1: Leistungsvergleich zwischen ONNX und LiteRT.

Das obige Bild zeigt einen Vergleich der mittleren Inferenzzeit für Detektion, Segmentierung und Pose Estimation auf YOLO26n, ausgeführt im Browser über @ultralytics/yolo, dem npm-Paket von Ultralytics für clientseitige Inferenz auf WebGPU/WASM via ONNX Runtime Web. Gemessen auf einem 2024 Apple MacBook Pro (Apple Silicon M4) in einer kontrollierten Browserumgebung.

Ultralytics YOLO an den Edge bringen#

Mit LiteRT erfordert die Bereitstellung von Ultralytics YOLO-Modellen auf Mobil-, Embedded-, Edge- und Browser-Umgebungen keine separaten Export-Pipelines mehr für jedes Ziel. Ein Export, ein Modellformat und ein konsistenter Pfad vom Training bis zur Produktion, wo auch immer Inferenz stattfinden muss.

Neugierig auf Vision-KI? Entdecke unsere licensing options, um Computer Vision in deine Projekte zu integrieren. Besuche unser GitHub repository, um die gesamte Bandbreite der Ultralytics Export-Integrationen zu erkunden, und schau dir die Ultralytics Platform an, um mit dem Aufbau deiner eigenen End-to-End-Vision-KI-Workflows zu beginnen.