Exportieren von Ultralytics YOLO mit LiteRT

Bei Ultralytics beobachten wir einen wachsenden Trend dazu, Computer Vision-Modelle direkt auf den Geräten auszuführen, auf denen sie benötigt werden, anstatt sich auf eine Cloud-Verbindung zu verlassen. Mobile Apps, eingebettete Systeme, IoT-Sensoren und browserbasierte Tools müssen zunehmend Inferenz lokal durchführen, häufig auf Hardware mit begrenzten Strom- und Rechenkapazitäten. Deshalb freuen wir uns bekannt zu geben, dass Ultralytics YOLO-Modelle jetzt direkt nach LiteRT exportiert werden können.

Um diesen Bedarf zu decken, ist ein Modellformat erforderlich, das in all diesen Umgebungen funktioniert, ohne dass Entwickler für jede davon separate Export-Pipelines pflegen müssen.

Diese Fähigkeit existierte zuvor über ein inoffizielles Drittanbieter-Paket, aber diese neue Integration ist das Ergebnis einer offiziellen Zusammenarbeit mit Google. Wir haben eng mit dem LiteRT-Team zusammengearbeitet, um eine End-to-End-Pipeline für den Export von Ultralytics YOLO-Modellen nach TFLite via LiteRT zu entwickeln. Mit dieser Integration wird ein einziges exportiertes Ultralytics YOLO-Modell auf Mobil-, Embedded-, Edge- und Browser-Umgebungen bereitgestellt, was die bisher getrennten Exportformate TFLite und TF.js in einem optimierten Format vereint.

Link to this sectionWas ist LiteRT?#

LiteRT (kurz für Lite Runtime) ist Googles leistungsstarke Runtime für On-Device AI. Es ist die nächste Generation und der neue Name für TensorFlow Lite (TFLite) und führt dasselbe .tflite-Modellformat aus, das Entwickler bereits kennen.

LiteRT ist ein Open-Source-Framework, das speziell für On-Device-Inferenz entwickelt wurde, auch bekannt als Edge Computing. Es bietet Entwicklern die Werkzeuge, um trainierte Modelle auf Mobil-, Embedded- und IoT-Geräten, herkömmlichen Computern und durch LiteRT.js direkt in Webbrowsern und Node.js auszuführen. Das LiteRT-Exportformat optimiert Modelle für Aufgaben wie Objekterkennung, Segmentierung, Pose-Schätzung und Klassifizierung, sodass sie schnell und offline auf einer Vielzahl von Geräten laufen.

Link to this sectionWarum Ultralytics YOLO-Modelle nach LiteRT exportieren?#

Ein Modellformat deckt jetzt jedes Bereitstellungsziel ab:

• Mobil & Embedded. Android, iOS, Desktop, Embedded Linux und Mikrocontroller (MCUs).

• Edge-Beschleuniger. Kompatibel mit der Coral Edge TPU für weitere Beschleunigung.

• Browser & Node.js. LiteRT.js führt dasselbe .tflite-Modell im Web mit WebGPU/WASM-Beschleunigung aus und ersetzt die Notwendigkeit für einen separaten TensorFlow.js-Export.

• Desktop

Diese Konsolidierung ist wichtig, da sie eine echte Reibungsquelle bei der Bereitstellung in der Produktion beseitigt. Anstatt eine Export-Pipeline für Mobilgeräte, eine für den Browser und eine dritte für Edge-Beschleuniger zu pflegen, können Teams jetzt einmal exportieren und überall dort bereitstellen, wo LiteRT läuft.

Link to this sectionHauptfunktionen von LiteRT-Modellen#

• On-Device-Optimierung. Reduziert die Latenz durch lokale Datenverarbeitung, verbessert den Datenschutz, da keine persönlichen Daten übertragen werden, und minimiert die Modellgröße, um Platz zu sparen.

• Unterstützung mehrerer Plattformen. Läuft auf Android, iOS, Embedded Linux, Mikrocontrollern und modernen Webbrowsern.

• Hardware-Beschleunigung. Nutzt XNNPACK auf der CPU sowie GPU-Beschleunigung via OpenCL, Metal und WebGPU. Die GPU-Beschleunigung läuft standardmäßig in FP16 für zusätzliche Geschwindigkeit.

• Quantisierung. Unterstützt FP32, statische INT8, statische INT16-Aktivierung und dynamische INT8, um Modelle zu komprimieren und die Inferenz mit minimalem Genauigkeitsverlust zu beschleunigen.

• Vielfältige Sprachunterstützung. Kompatibel mit Java/Kotlin, Swift, Objective-C, C++, Python und JavaScript.

Link to this sectionErste Schritte mit dem LiteRT-Export#

Das Ultralytics Python-Paket und die Ultralytics Platform bieten eine vollständige, einheitliche Umgebung zum Trainieren, Evaluieren und Bereitstellen von YOLO-Modellen für alle fünf Computer Vision-Aufgaben. Das LiteRT-Exportformat unterstützt die Modi Export, Predict und Validate, sodass ein Modell exportiert und anschließend sofort für Inferenz oder Genauigkeitsvalidierung lokal genutzt werden kann.

Der Export eines Modells erfolgt mit einem einzigen Befehl:

from ultralytics import YOLO

\# Load a YOLO26 model
model \= YOLO("yolo26n.pt")

\# Export the model to LiteRT format
model.export(format="litert") \# creates 'yolo26n.tflite'

Für Teams, die auf eingeschränkter Hardware bereitstellen, unterstützt LiteRT auch den quantisierten Export, wodurch Modelle für eine schnellere Inferenz mit minimalem Genauigkeitsverlust komprimiert werden können:

from ultralytics import YOLO

model \= YOLO("yolo26n.pt")

\# Dynamic INT8: int8 weights, FP32 activations \- no calibration data needed
model.export(format="litert", quantize="w8a32")

\# Static INT8: int8 weights \+ int8 activations \- needs calibration data
model.export(format="litert", quantize=8, data="coco8.yaml")

Nach dem Export kann das Modell geladen und direkt für die Inferenz ausgeführt werden:

from ultralytics import YOLO

\# Load the exported LiteRT model
model \= YOLO("yolo26n.tflite")

\# Run inference
results \= model("https://ultralytics.com/images/bus.jpg")

Der LiteRT-Export wird derzeit auf Linux x86_64 und macOS unterstützt. Das exportierte .tflite-Modell selbst läuft auf jeder LiteRT-unterstützten Plattform, einschließlich Mobil-, Embedded-, Edge- und Browser-Umgebungen.

Abb. 1. Leistungsvergleich zwischen ONNX und LiteRT.

Das Bild oben zeigt einen Vergleich der durchschnittlichen Inferenzzeit für Erkennung, Segmentierung und Pose-Schätzung auf YOLO26n, ausgeführt im Browser via @ultralytics/yolo, dem npm-Paket von Ultralytics für clientseitige Inferenz auf WebGPU/WASM via ONNX Runtime Web. Benchmarking auf einem 2024 Apple MacBook Pro (Apple Silicon M4) in einer kontrollierten Browserumgebung.

Link to this sectionUltralytics YOLO an den Edge bringen#

Mit LiteRT erfordert die Bereitstellung von Ultralytics YOLO-Modellen auf Mobil-, Embedded-, Edge- und Browser-Umgebungen keine separaten Export-Pipelines mehr für jedes Ziel. Ein Export, ein Modellformat und ein konsistenter Pfad vom Training bis zur Produktion, wo auch immer Inferenz stattfinden muss.

Neugierig auf Vision AI? Entdecke unsere Lizenzierungsoptionen, um Computer Vision in deine Projekte zu integrieren. Besuche unser GitHub-Repository, um die gesamte Palette der Ultralytics-Exportintegrationen zu erkunden, und schau dir die Ultralytics Platform an, um mit dem Aufbau deiner eigenen End-to-End Vision AI-Workflows zu beginnen.