Ultralytics YOLO modellerini ExecuTorch entegrasyonu kullanarak dağıt

Otomatik kalite kontrolü, otonom drone'lar veya akıllı güvenlik sistemleri gibi bazı computer vision uygulamaları, Ultralytics YOLO11 gibi Ultralytics YOLO modelleri görüntüleri yakalayan sensöre yakın çalıştığında en iyi performansı gösterir. Başka bir deyişle, bu modeller verileri buluta göndermek yerine doğrudan üretildikleri yerlerde, yani kamera, drone veya gömülü sistemler üzerinde işlemelidir.

edge AI olarak bilinen bu yaklaşım, modellerin çıkarım işlemini verinin yakalandığı cihaz üzerinde doğrudan gerçekleştirmesini sağlar. Sistemler, bilgiyi uzak sunuculara güvenmek yerine yerel olarak işleyerek, internet bağlantısının sınırlı olduğu veya hiç olmadığı ortamlarda bile daha düşük gecikme süresi, gelişmiş veri gizliliği ve daha yüksek güvenilirlik elde edebilir.

Örneğin, her dakika binlerce ürünü denetleyen bir üretim kamerası veya karmaşık ortamlarda gezinen bir drone, bulut işlemenin getirdiği gecikmeleri kaldıramaz. YOLO11'i doğrudan cihaz üzerinde çalıştırmak, anlık ve cihaz içi çıkarım yapılmasına olanak tanır.

Ultralytics YOLO modellerini uç noktada (edge) çalıştırmayı daha kolay ve verimli hale getirmek için, Ultralytics tarafından desteklenen yeni ExecuTorch entegrasyonu, modelleri doğrudan mobil ve gömülü cihazlara dışa aktarmak ve dağıtmak için geliştirilmiş bir yol sunar. PyTorch Edge ekosisteminin bir parçası olan ExecuTorch; telefonlar, giyilebilir cihazlar, gömülü kartlar ve mikrodenetleyiciler dahil olmak üzere mobil ve uç donanımlar üzerinde yapay zeka modellerini doğrudan çalıştırmak için uçtan uca bir çözüm sağlar.

Bu entegrasyon, bir Ultralytics YOLO modelini (örneğin YOLO11) eğitimden alıp uç cihazlarda dağıtma aşamasına getirmeyi kolaylaştırır. YOLO11'in görüntü yeteneklerini ExecuTorch'un hafif çalışma zamanı (runtime) ve PyTorch dışa aktarma hattı ile birleştiren kullanıcılar, PyTorch tabanlı çıkarımın doğruluk ve performansını korurken uç donanımlarda verimli çalışan modeller dağıtabilirler.

Bu makalede, ExecuTorch entegrasyonunun nasıl çalıştığına, neden uç yapay zeka uygulamaları için harika bir uyum sağladığına ve Ultralytics YOLO modellerini ExecuTorch ile dağıtmaya nasıl başlayabileceğine daha yakından bakacağız. Haydi başlayalım!

Link to this sectionExecuTorch nedir?#

Genellikle PyTorch'ta bir model eğittiğinde, bu model buluttaki güçlü sunucularda veya Grafik İşlem Birimlerinde (GPU) çalışır. Ancak aynı modeli akıllı telefon, drone veya mikrodenetleyici gibi mobil ya da gömülü bir cihaza dağıtmak, sınırlı bilgi işlem gücünü, belleği ve bağlantıyı yönetebilen özel bir çözüm gerektirir.

ExecuTorch tam olarak bu noktada devreye girer. ExecuTorch, PyTorch Edge ekosisteminin bir parçası olarak geliştirilmiş, mobil, gömülü ve uç platformlarda verimli cihaz içi çıkarımı mümkün kılan uçtan uca bir çözümdür. PyTorch'un yeteneklerini bulutun ötesine taşıyarak yapay zeka modellerinin doğrudan yerel cihazlarda çalışmasını sağlar.

Link to this sectionPyTorch çıkarımını uç noktaya getirmek#

ExecuTorch temelinde, PyTorch modellerinin doğrudan cihaz üzerinde çalışmasına izin veren hafif bir C++ çalışma zamanı (runtime) sağlar. ExecuTorch, daha hızlı yükleme, daha küçük bellek ayak izi ve gelişmiş taşınabilirlik için tasarlanmış optimize edilmiş bir dışa aktarma formatı olan PyTorch ExecuTorch (.pte) model formatını kullanır.

Verimli Merkezi İşlem Birimi (CPU) çıkarımı için varsayılan arka uç olarak XNNPACK'i destekler ve CoreML, Metal, Vulkan, Qualcomm, MediaTek, Arm EthosU, OpenVINO ve diğerleri dahil olmak üzere çok çeşitli donanım arka uçları arasında uyumluluğu genişletir.

Bu arka uçlar, mobil, gömülü ve özel uç cihazlarda optimize edilmiş hızlandırmayı mümkün kılar. ExecuTorch ayrıca PyTorch dışa aktarma hattı ile entegre olur ve farklı dağıtım ortamlarında performansı ve uyarlanabilirliği artırmak için quantization ve dinamik şekil işleme gibi gelişmiş özellikler için destek sağlar.

Quantization (niceleme), yüksek hassasiyetli değerleri (32-bit float gibi) daha düşük hassasiyetli olanlara dönüştürerek model boyutunu küçültür ve çıkarım hızını artırır; dinamik şekil işleme ise modellerin değişken giriş boyutlarını verimli bir şekilde işlemesini sağlamak için kullanılır. Her iki özellik de kaynakları kısıtlı uç cihazlarda yapay zeka modellerini çalıştırmak için kritiktir.

Şekil 1. ExecuTorch'un nasıl çalıştığına bir bakış (Source)

Link to this sectionUç donanım için birleşik bir katman#

ExecuTorch, çalışma zamanının ötesinde, birden fazla donanım arka ucu için birleşik bir soyutlama katmanı görevi görür. Basitçe ifade etmek gerekirse, donanıma özgü detayları soyutlar ve modellerin CPU'lar, GPU'lar ve Sinir İşlem Birimleri (NPU) dahil olmak üzere farklı işlem birimleriyle nasıl etkileşime gireceğini yönetir.

Bir model dışa aktarıldıktan sonra, ExecuTorch belirli bir cihaz için en uygun arka ucu hedefleyecek şekilde yapılandırılabilir. Geliştiriciler, özel cihaz bazlı kodlar yazmadan veya ayrı dönüştürme iş akışlarını sürdürmeden modelleri farklı donanımlar üzerinde verimli bir şekilde dağıtabilirler.

Modüler, taşınabilir tasarımı ve sorunsuz PyTorch entegrasyonu sayesinde ExecuTorch, Ultralytics YOLO11 gibi bilgisayarlı görü modellerini mobil ve gömülü sistemlere dağıtmak için harika bir seçenektir. Model eğitimi ile gerçek dünya dağıtımı arasındaki boşluğu doldurarak uç yapay zekayı daha hızlı, daha verimli ve uygulaması daha kolay hale getirir.

Link to this sectionExecuTorch'un temel özellikleri#

Ultralytics YOLO modellerini ExecuTorch formatına nasıl aktaracağımıza bakmadan önce, ExecuTorch'u uç noktada yapay zeka dağıtımı için güvenilir bir seçenek yapan şeyin ne olduğunu keşfedelim.

İşte temel özelliklerinden bazılarına bir göz atalım:

• Quantization desteği: ExecuTorch, model boyutunu küçültmek ve çıkarımı hızlandırmak için yüksek hassasiyetli değerleri daha düşük hassasiyetli olanlara dönüştüren bir teknik olan model quantization'ı destekler. Bu, modellerin doğruluk seviyesini neredeyse aynı tutarak uç cihazlarda daha hızlı çalışmasına ve daha az bellek kullanmasına yardımcı olur.
• Verimli bellek kullanımı: ExecuTorch'un en büyük avantajlarından biri belleği nasıl yönettiğidir. Gecikmeye ve güç yüküne neden olabilen dinamik bellek tahsisine güvenmek yerine, ExecuTorch Ahead-of-Time (AOT) bellek planlamasını kullanır. Dışa aktarma sırasında model grafiğini analiz eder ve her işlem için ne kadar bellek gerektiğini önceden hesaplar. Bu, çalışma zamanının modelleri statik bir bellek planı kullanarak yürütmesini sağlar, tahmin edilebilir bir performans sunar ve sınırlı RAM veya işlem kapasitesine sahip cihazlarda yavaşlamaları veya çökmeleri önler.
• Yerleşik model meta verileri: Ultralytics tarafından desteklenen entegrasyon kullanılarak dışa aktarma yapıldığında, her model giriş resmi boyutu, sınıf isimleri ve yapılandırma parametreleri gibi önemli meta verileri içeren bir YAML dosyası içerir. Bu ek dosya, modelin çeşitli uygulamalara entegrasyonunu basitleştirir ve farklı uç platformlarda tutarlı davranış sağlar.

Link to this sectionUltralytics YOLO modelleri ExecuTorch formatına nasıl aktarılır?#

Artık ExecuTorch'un sundukları hakkında daha iyi bir anlayışa sahip olduğumuza göre, Ultralytics YOLO modellerini ExecuTorch formatına nasıl aktaracağımıza bakalım.

Link to this sectionAdım: Ultralytics Python paketini yükle#

Başlamak için, bir paket yükleyicisi olan pip kullanarak Ultralytics Python package yüklemen gerekir. Bunu terminalinde veya komut isteminde “pip install ultralytics” komutunu çalıştırarak yapabilirsin.

Jupyter Notebook veya Google Colab ortamında çalışıyorsan, komutun önüne bir ünlem işareti eklemen yeterlidir, örneğin "!pip install ultralytics". Yüklendikten sonra Ultralytics paketi, Ultralytics YOLO11 dahil olmak üzere bilgisayarlı görü modellerini eğitmek, test etmek ve dışa aktarmak için ihtiyacın olan tüm araçları sağlar.

Kurulum sırasında veya modelini dışa aktarırken herhangi bir sorunla karşılaşırsan, resmi Ultralytics belgeleri ve Common Issues guide sorun giderme konusunda ayrıntılı adımlar ve sorunsuz bir şekilde çalışmaya başlamana yardımcı olacak en iyi uygulamaları içerir.

Link to this sectionAdım: Ultralytics YOLO11'i dışa aktarma#

Ultralytics paketini yükledikten sonra, bir YOLO11 modeli varyantı yükleyebilir ve onu ExecuTorch formatına export edebilirsin. Örneğin, “yolo11n.pt” gibi önceden eğitilmiş bir model kullanabilir ve formatı “executorch” olarak ayarlayıp export fonksiyonunu çağırarak dışa aktarabilirsin.

Bu işlem, optimize edilmiş model dosyasını (.pte) ve resim boyutu ile sınıf isimleri gibi önemli detayları içeren ayrı bir meta veri YAML dosyasını kapsayan “yolo11n_executorch_model” adlı bir dizin oluşturur.

Modelini dışa aktarmak için kod burada:

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="executorch")

Link to this sectionAdım 3: Modeli dışa aktardıktan sonra çıkarımları çalıştırma#

Dışa aktarıldıktan sonra model, ExecuTorch çalışma zamanı kullanılarak uç cihazlarda ve mobil cihazlarda dağıtılmaya hazırdır. Dışa aktarılan .pte model dosyası, bulut bağlantısına ihtiyaç duymadan gerçek zamanlı, cihaz içi çıkarım çalıştırmak için uygulamana yüklenebilir.

Örneğin, aşağıdaki kod parçacığı dışa aktarılan modelin nasıl yükleneceğini ve çıkarımın nasıl çalıştırılacağını gösterir. Çıkarım basitçe, eğitilmiş bir modelin yeni veriler üzerinde tahminler yapmak için kullanılması anlamına gelir. Burada model, halka açık bir URL'den alınan bir otobüs resmi üzerinde test edilmiştir.

executorch_model = YOLO("yolo11n_executorch_model")
results = executorch_model.predict("https://ultralytics.com/images/bus.jpg", save=True)

Kodu çalıştırdıktan sonra, tespit edilen nesnelerin bulunduğu çıktı resmini “runs/detect/predict” klasöründe bulabilirsin.

Şekil 2. ExecuTorch formatında dışa aktarılmış bir YOLO11 modeli kullanarak nesne tespiti.

Link to this sectionExecuTorch entegrasyonunu kullanmanın faydaları#

Ultralytics tarafından desteklenen farklı dışa aktarma seçeneklerini keşfederken, ExecuTorch entegrasyonunu neyin benzersiz kıldığını merak edebilirsin. Temel fark, performansı, basitliği ve esnekliği ne kadar iyi birleştirdiğidir; bu da güçlü yapay zeka modellerini doğrudan mobil ve uç cihazlarda dağıtmayı kolaylaştırır.

İşte ExecuTorch entegrasyonunu kullanmanın temel avantajlarından bazılarına bir göz atalım:

• Esnek dağıtım seçenekleri: ExecuTorch modelleri mobil uygulamalar, gömülü sistemler, IoT (Nesnelerin İnterneti) cihazları ve özel uç yapay zeka donanımları arasında dağıtılabilir. Bu esneklik, geliştiricilerin çeşitli platformlarda ve ortamlarda tutarlı performans gösteren ölçeklenebilir yapay zeka çözümleri oluşturmasına olanak tanır.
• Performansı kanıtlanmış sonuçlar: Raspberry Pi 5 gibi cihazlardaki testler, ExecuTorch formatına dışa aktarılan YOLO11 modellerinin, PyTorch muadillerinden yaklaşık 2 kat daha hızlı çalıştığını ve neredeyse aynı doğruluk oranına sahip olduğunu gösteriyor.
• Esnek entegrasyon API'leri: ExecuTorch; iOS, Android ve gömülü Linux için C++, Kotlin ve Objective-C API'leri sağlayarak geliştiricilerin YOLO modellerini doğrudan yerel uygulamalara entegre etmelerine olanak tanır.
• Donanım hızlandırma desteği: ExecuTorch, mobil GPU'lar için Vulkan ve Metal dahil olmak üzere birden fazla donanım hızlandırma arka ucunu destekler; ayrıca OpenCL ve diğer satıcıya özel API'ler için isteğe bağlı entegrasyon sunar. Ayrıca, yalnızca CPU ile yapılan çıkarımlara göre önemli hız artışları elde etmek için NPU ve DSP gibi özel hızlandırıcılardan da yararlanabilir.

Link to this sectionYOLO11 ve ExecuTorch dışa aktarımının gerçek dünya uygulamaları#

Yakın zamanda Ultralytics, cihaz içi çıkarım için erken desteğimizi ve PyTorch ekosistemine devam eden katkılarımızı vurgulayan bir PyTorch ExecuTorch success story olarak tanındı. Bu tanınma, yüksek performanslı yapay zekayı mobil ve uç platformlarda daha erişilebilir hale getirme konusundaki ortak hedefimizi yansıtıyor.

Link to this sectionBuluttan uç noktaya: ExecuTorch ve YOLO11 yapay zekayı nasıl hayata geçiriyor#

Eylemde bu, akıllı telefonlardan gömülü sistemlere kadar her şeyde verimli bir şekilde çalışan gerçek dünya görme tabanlı yapay zeka çözümleri gibi görünüyor. Örneğin, üretimde uç cihazlar, üretim hatlarını izlemede ve kusurları gerçek zamanlı olarak tespit etmede çok önemli bir rol oynar.

Şekil 3. Bir üretim montaj hattını analiz etmek için YOLO11 kullanma örneği. (Source)

Görüntüleri veya sensör verilerini işlenmek üzere buluta göndermek yerine -ki bu durum gecikmelere yol açabilir ve internet bağlantısına bağımlı hale getirebilir-, ExecuTorch entegrasyonu YOLO11 modellerinin doğrudan yerel donanım üzerinde çalışmasını sağlar. Bu, fabrikaların kalite sorunlarını anında tespit edebileceği, kesinti süresini azaltabileceği ve kısıtlı işlem kaynaklarıyla çalışırken bile veri gizliliğini koruyabileceği anlamına gelir.

İşte ExecuTorch entegrasyonunun ve Ultralytics YOLO modellerinin uygulanabileceği birkaç örnek daha:

• Akıllı şehirler: YOLO11 modellerini ExecuTorch ile yerel olarak çalıştırarak şehirler, trafik sıkışıklığını tespit etmekten tehlikeleri belirlemeye kadar daha hızlı ve veriye dayalı kararlar alabilir, genel hareketliliği ve güvenliği iyileştirebilir.
• Perakende ve depolama: Cihaz içi çıkarım ile perakendeciler, bulut bağlantılarına güvenmek zorunda kalmadan raf izlemeyi otomatikleştirebilir, envanteri takip edebilir ve paketleri hızlı ve güvenli bir şekilde denetleyebilir.
• Robotics and drones: Uç noktaya optimize edilmiş YOLO11 modelleri, robotların ve drone'ların internet erişimi olmasa bile nesneleri tanımasını, ortamlarda gezinmesini ve gerçek zamanlı kararlar almasını sağlar.

Şekil 4. YOLO11 kullanarak trafikteki arabaları tespit etme ve sayma (Source)

Link to this sectionÖne çıkanlar#

Ultralytics YOLO modellerini ExecuTorch formatına aktarmak, akıllı telefonlar, tabletler ve Raspberry Pi gibi gömülü sistemler dahil olmak üzere birçok cihazda bilgisayarlı görü modellerini dağıtmayı kolaylaştırır. Bu, bulut bağlantısına güvenmeden optimize edilmiş cihaz içi çıkarım çalıştırmanın mümkün olduğu anlamına gelir ve bu da hızı, gizliliği ve güvenilirliği artırır.

ExecuTorch'un yanı sıra Ultralytics, TensorRT, OpenVINO, CoreML ve daha fazlası dahil olmak üzere çok çeşitli entegrasyonları destekler ve geliştiricilere modellerini platformlar genelinde çalıştırma esnekliği sağlar. Görme tabanlı yapay zeka kullanımı arttıkça, bu entegrasyonlar gerçek dünya koşullarında verimli çalışmak üzere oluşturulmuş akıllı sistemlerin dağıtımını basitleştirir.

Yapay zekayı mı merak ediyorsun? GitHub repository sayfamıza göz at, our community topluluğumuza katıl ve görme tabanlı yapay zeka projen için licensing options seçeneklerimizi incele. AI in retail ve computer vision in logistics gibi yenilikler hakkında daha fazla bilgi edinmek için çözüm sayfalarımızı ziyaret et.