Ultralytics YOLO'yu LiteRT ile Dışa Aktarma

Ultralytics olarak bilgisayarlı görü modellerini buluta bağlantıya güvenmek yerine, ihtiyaç duyuldukları cihazlarda doğrudan çalıştırmaya yönelik artan bir eğilim görüyoruz. Mobil uygulamaların, gömülü sistemlerin, IoT sensörlerinin ve tarayıcı tabanlı araçların çıkarımı giderek daha fazla yerel olarak, çoğu zaman güç ve işlem kapasitesi kısıtlı donanımlarda çalıştırması gerekiyor. Bu nedenle Ultralytics YOLO modellerinin artık doğrudan LiteRT'ye aktarılabildiğini duyurmaktan heyecan duyuyoruz.

Bu talebi karşılamak için geliştiricileri her ortam için ayrı dışa aktarma işlem hatları sürdürmeye zorlamadan tüm bu ortamlar arasında taşınabilen bir model formatı gerekiyor.

Bu özellik daha önce resmî olmayan bir üçüncü taraf paketi aracılığıyla mevcuttu, ancak bu yeni entegrasyon Google ile gerçekleştirilen resmî iş birliğinin sonucudur. Ultralytics YOLO modellerini LiteRT aracılığıyla TFLite'a aktarmak için LiteRT ekibiyle yakın iş birliği içinde uçtan uca bir işlem hattı oluşturduk. Bu entegrasyon sayesinde, dışa aktarılan tek bir Ultralytics YOLO modeli mobil, gömülü, edge ve tarayıcı ortamlarında dağıtılabilir; böylece eski TFLite ve TF.js dışa aktarma formatlarının ayrı ayrı ele aldığı işlemler tek bir yalınlaştırılmış formatta birleştirilir.

LiteRT nedir?#

LiteRT (Lite Runtime'ın kısaltması), Google'ın cihaz üzerinde yapay zekâ için yüksek performanslı çalışma zamanıdır. TensorFlow Lite'ın (TFLite) yeni nesli ve yeni adıdır; geliştiricilerin zaten bildiği aynı .tflite model formatını çalıştırır.

LiteRT, özellikle cihaz üzerinde çıkarım için tasarlanmış ve edge computing olarak da bilinen açık kaynaklı bir framework'tür. Geliştiricilere eğitilmiş modelleri mobil, gömülü ve IoT cihazlarında, geleneksel bilgisayarlarda ve LiteRT.js aracılığıyla doğrudan web tarayıcılarında ve Node.js'te çalıştırma araçları sunar. LiteRT dışa aktarma formatı, nesne algılama, segmentasyon, poz tahmini ve sınıflandırma gibi görevler için modelleri optimize eder; böylece modeller çok çeşitli cihazlarda hızlı ve çevrimdışı çalışır.

Ultralytics YOLO modelleri neden LiteRT'ye aktarılmalı?#

Artık tek bir model formatı tüm dağıtım hedeflerini kapsıyor:

• Mobil ve gömülü. Android, iOS, masaüstü, gömülü Linux ve mikrodenetleyiciler (MCUs).

• Edge hızlandırıcıları. Daha fazla hızlandırma için Coral Edge TPU ile uyumludur.

• Tarayıcı ve Node.js. LiteRT.js, WebGPU/WASM hızlandırmasıyla aynı .tflite modelini web üzerinde çalıştırır ve ayrı bir TensorFlow.js dışa aktarması gereksinimini ortadan kaldırır.

• Masaüstü

Bu birleştirme önemlidir çünkü üretim dağıtımlarındaki gerçek bir sürtüşme kaynağını ortadan kaldırır. Ekiplerin mobil için bir, tarayıcı için başka ve edge hızlandırıcıları için üçüncü bir dışa aktarma işlem hattı sürdürmesi yerine, artık bir kez dışa aktarım yapıp LiteRT'nin çalıştığı her yerde dağıtım yapabilirsin.

LiteRT modellerinin temel özellikleri#

• Cihaz üzerinde optimizasyon. Verileri yerel olarak işleyerek gecikmeyi azaltır, kişisel verileri aktarmayarak gizliliği artırır ve yer tasarrufu sağlamak için model boyutunu küçültür.

• Birden çok platform desteği. Android, iOS, gömülü Linux, mikrodenetleyiciler ve modern web tarayıcılarında çalışır.

• Donanım hızlandırma. CPU üzerinde XNNPACK'ten, OpenCL, Metal ve WebGPU aracılığıyla GPU hızlandırmasından yararlanır. GPU hızlandırması, ek hız için varsayılan olarak FP16 ile çalışır.

• Niceleme. Modelleri sıkıştırmak ve minimum doğruluk kaybıyla çıkarımı hızlandırmak için FP32, statik INT8, statik INT16-activation ve dinamik INT8'i destekler.

• Çeşitli dil desteği. Java/Kotlin, Swift, Objective-C, C++, Python ve JavaScript ile uyumludur.

LiteRT dışa aktarmaya başlarken#

Ultralytics Python paketi ve Ultralytics Platform, beş bilgisayarlı görü görevinin tamamında YOLO modellerini eğitmek, değerlendirmek ve dağıtmak için eksiksiz ve birleşik bir ortam sunar. LiteRT dışa aktarma formatı Export, Predict ve Validate modlarını destekler; böylece bir model dışa aktarıldıktan hemen sonra yerel olarak çıkarım veya doğruluk doğrulaması için kullanılabilir.

Bir modeli dışa aktarmak tek bir komut gerektirir:

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to LiteRT format
model.export(format="litert") # creates 'yolo26n.tflite'

Kısıtlı donanıma dağıtım yapan ekipler için LiteRT, nicelemeli dışa aktarmayı da destekler; bu sayede modeller minimum doğruluk kaybıyla daha hızlı çıkarım için sıkıştırılabilir:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Dynamic INT8: int8 weights, FP32 activations - no calibration data needed
model.export(format="litert", quantize="w8a32")

# Static INT8: int8 weights + int8 activations - needs calibration data
model.export(format="litert", quantize=8, data="coco8.yaml")

Dışa aktarıldıktan sonra model doğrudan yüklenip çıkarım için çalıştırılabilir:

from ultralytics import YOLO

# Load the exported LiteRT model
model = YOLO("yolo26n.tflite")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

LiteRT dışa aktarma şu anda Linux x86_64 ve macOS üzerinde desteklenmektedir. Dışa aktarılan .tflite modelinin kendisi; mobil, gömülü, edge ve tarayıcı dahil olmak üzere LiteRT tarafından desteklenen tüm platformlarda çalışır.

Şekil 1. ONNX ve LiteRT arasındaki performans karşılaştırması.

Yukarıdaki görselde, istemci tarafında ONNX Runtime Web aracılığıyla WebGPU/WASM üzerinde çıkarım için Ultralytics'ın npm paketi olan @ultralytics/yolo kullanılarak tarayıcıda çalışan YOLO26n için algılama, segmentasyon ve poz tahminine ait ortalama çıkarım süresi karşılaştırılmaktadır. Karşılaştırma, kontrollü bir tarayıcı ortamında 2024 Apple MacBook Pro (Apple Silicon M4) üzerinde gerçekleştirilmiştir.

Ultralytics YOLO'yu edge'e taşımak#

LiteRT ile Ultralytics YOLO modellerini mobil, gömülü, edge ve tarayıcı ortamlarında dağıtmak artık her hedef için ayrı dışa aktarma işlem hatları gerektirmiyor. Tek bir dışa aktarım, tek bir model formatı ve çıkarımın yapılması gereken her yerde eğitimden üretime tutarlı bir yol.

Görüntü yapay zekâsını merak ediyor musun? Bilgisayarlı görüyü projelerine taşımak için lisanslama seçeneklerimizi keşfet. Ultralytics dışa aktarma entegrasyonlarının tamamını incelemek için GitHub depomuzu ziyaret et ve kendi uçtan uca görüntü yapay zekâ iş akışlarını oluşturmaya başlamak için Ultralytics Platform platformuna göz at.