Uç yapay zeka için Ultralytics YOLO modellerini Axelera AI donanımına taşıma

Ultralytics olarak, yapay zeka kullanımı yaygınlaştıkça bilgisayarlı görü modellerini doğrudan uç cihazlarda çalıştırmaya yönelik artan bir geçiş gözlemliyoruz. Bilgisayarlı görü topluluğuyla gerek çevrim içi gerekse son teknoloji konferanslarında yüz yüze yaptığımız görüşmelerde, ekibimiz verinin üretildiği yere daha yakın noktalarda görü yapay zekası dağıtımına olan ilginin arttığını görüyor.

Akıllı perakende ortamlarından endüstriyel otomasyona ve robotik alanına kadar, gerçek zamanlı içgörüler vazgeçilmez hale geliyor ve artık yalnızca buluta güvenmek yeterli değil.

Kısaca ifade etmek gerekirse, uç yapay zeka, veriyi işlenmek üzere merkezi sunuculara göndermek yerine yapay zeka modellerini cihazlarda yerel olarak çalıştırmayı içerir. Bu, gecikmeyi azaltmayı, güvenilirliği artırmayı ve gerçek dünyadaki olaylara gerçek zamanlı olarak yanıt vermeyi mümkün kılar.

Ancak, yüksek performanslı modelleri bu ortamlarda dağıtmak kendi zorluklarını da beraberinde getiriyor; sınırlı bilgi işlem kaynakları ve güç kısıtlamaları, modellerin hem verimli olmasını hem de çalıştıkları donanıma göre optimize edilmesini gerektiriyor.

Ultralytics YOLO26 gibi Ultralytics YOLO modelleri gerçek zamanlı bilgisayarlı görü için tasarlanmıştır, ancak uç noktalarda tam potansiyellerini ortaya çıkarmak, yazılım ve donanımın doğru kombinasyonunu gerektirir. İşte bu yüzden Axelera AI ile yaptığımız iş birliğini duyurmaktan heyecan duyuyoruz.

Ultralytics YOLO modellerinin Metis® AI İşleme Birimleri (AIPU'lar) üzerinde verimli ve yüksek performanslı bir şekilde dağıtılmasını sağlayan güncellenmiş bir dışa aktarma entegrasyonu sunmak için Axelera AI ile ortaklık kurduk.

Şekil 1. Bir Metis AI İşleme Birimine bakış (Kaynak)

Bu makalede, Ultralytics YOLO modellerinin Metis dağıtımı için nasıl kolayca derlenebileceğini keşfedeceğiz. Başlayalım!

Link to this sectionUç yapay zeka, bilgisayarlı görünün geleceğidir#

Bilgisayarlı görü uygulamaları gelişmeye devam ettikçe, daha hızlı ve daha verimli işlemeye duyulan ihtiyaç giderek daha kritik hale geliyor. Geleneksel bulut tabanlı yaklaşımlar gecikmeye yol açabilir, istikrarlı bir bağlantıya bağımlı olabilir ve birçok akıllı görü kullanım durumunun gerçek zamanlı taleplerini karşılayamayabilir.

Uç yapay zeka, modellerin doğrudan yerel cihazlarda çalışmasını sağlayarak bu zorlukların üstesinden gelir ve verilerin kaynağına daha yakın bir noktada işlenmesine olanak tanır. Örneğin, arama kurtarma operasyonlarında kullanılan görü destekli dronları düşünün.

Bu sistemlerin, genellikle internet bağlantısının sınırlı olduğu veya hiç olmadığı uzak bölgelerde insanları, engelleri veya tehlikeleri tespit etmek için video yayınlarını gerçek zamanlı olarak analiz etmesi gerekir. Bilgisayarlı görü modellerini doğrudan dron üzerinde çalıştıran uç yapay zeka, bulut altyapısına güvenmeden daha hızlı karar verme ve daha güvenilir performans sağlar.

Bu değişim, endüstriler genelinde yeni olanaklar sunuyor. Perakendede gerçek zamanlı nesne tespiti, üretimde otomatik kalite kontrolü ve robotikte algılama gibi uygulamaların tümü, daha hızlı yanıt sürelerinden ve daha yüksek güvenilirlikten faydalanıyor.

Uç yapay zeka, gerçek dünya ortamlarında ölçeklenebilir ve duyarlı bilgisayarlı görü sistemleri dağıtmak için hızla temel bir kolaylaştırıcı haline geliyor.

Link to this sectionAxelera AI’nın Metis AI İşleme Birimlerini keşfetme#

Yeni dışa aktarma entegrasyonuna girmeden önce, bir adım geri çekilelim ve Axelera AI’nın Metis AI İşleme Birimleri hakkında ve bunların verimli uç yapay zekayı etkinleştirmedeki rolleri hakkında daha fazla bilgi edinelim.

Axelera AI, uçta yapay zeka çıkarımını hızlandırmak için özel olarak tasarlanmış donanımlar geliştirir. Bunun temel bir parçası, sinir ağlarını uç cihazlarda verimli bir şekilde çalıştırmak için oluşturulmuş özel bir işlemci olan Metis AIPU veya AI İşleme Birimidir.

Genel amaçlı merkezi işlem birimlerinin (CPU'lar) veya hatta grafik işlem birimlerinin (GPU'lar) aksine, AIPU'lar yapay zeka iş yüklerinin belirli hesaplama kalıplarını işlemek üzere tasarlanmıştır. Bu, kaynakların genellikle sınırlı olduğu uç ortamlar için kritik öneme sahip olan düşük güç tüketimini korurken yüksek performans sunmalarını sağlar.

Axelera AI’nın yaklaşımını özellikle yenilikçi kılan şey, tam yığın (full-stack) tasarımıdır. Metis, uç bilişimin gerektirdiği enerji verimliliği ile yüksek performans için dijital bellek içi hesaplama (D-IMC) ve RISC-V ile inşa edilmiştir. Metis'in dört çekirdeği bağımsız olarak programlanabilir, yani çip başına dört modeli paralel olarak çalıştırabilirsiniz. Donanıma ek olarak, Voyager SDK, modelleri dağıtım için optimize etmek üzere birlikte çalışan bir derleyici ve çalışma zamanı içerir.

Bu, geliştiricilerin eğitilmiş modellerden üretime hazır çıkarıma daha verimli bir şekilde geçmelerini sağlar. Özellikle, Metis AIPU'lar, kurumsal, perakende, sağlık ve üretim ortamlarından tarım ve endüstriyel ekipmanlara ve uydulara kadar uç cihazlarda doğrudan gelişmiş bilgisayarlı görü modellerini (Ultralytics YOLO modelleri gibi) çalıştırmayı mümkün kılar.

Link to this sectionUltralytics YOLO modellerini Metis dağıtımı için dışa aktarma#

Ultralytics Python paketi, YOLO modellerini çeşitli bilgisayarlı görü görevleri için eğitmek, değerlendirmek ve dağıtmak için birleşik bir arayüz sağlar. YOLO modelleri genellikle deneyler ve model geliştirme için çok uygun olan PyTorch kullanılarak geliştirilir ve eğitilir.

Ancak, bu modelleri özel uç donanımlarda dağıtırken, hedef cihaz için optimize edilmiş bir formata dönüştürülmeleri gerekir. Ultralytics Python paketinin desteklediği dışa aktarma entegrasyonları işte burada devreye girer.

Ultralytics, YOLO modellerinin ONNX, TensorRT ve diğer donanıma özel arka uçlar gibi dağıtım hedefine bağlı olarak farklı formatlara dönüştürülmesine olanak tanıyan bir dizi dışa aktarma seçeneği sunar. Bu entegrasyonlar, gerekli optimizasyon ve dönüştürme adımlarını yöneterek modelleri gerçek dünya uygulamaları için hazırlama sürecini basitleştirir.

Bunun üzerine inşa edilen Ultralytics, YOLO modellerinin Metis AIPU'larda dağıtım için dışa aktarılmasını sağlayan Axelera AI ile güncellenmiş bir dışa aktarma entegrasyonu sunmuştur.

Dışa aktarma sırasında model, Axelera donanımı için özel olarak tasarlanmış optimize edilmiş bir temsile derlenir ve nicelenir. Bu işlem, dağıtım ve çıkarım için gereken meta verilerle birlikte ".axm" formatında derlenmiş bir model üretir.

Şekil 2. Ultralytics YOLO modelleri Metis AIPU'larda çalıştırılabilir. (Kaynak)

Bu entegrasyon; nesne algılama, poz tahmini, örnek bölümleme, yönlendirilmiş sınırlayıcı kutu (OBB) algılama ve görüntü sınıflandırma dahil olmak üzere Ultralytics YOLOv8, Ultralytics YOLO11 ve Ultralytics YOLO26 modellerinde çok çeşitli bilgisayarlı görü görevlerini destekler. Çoğu görev dışa aktarma iş akışı aracılığıyla doğrudan desteklenirken, YOLO26 bölümleme Voyager SDK ile model zoo üzerinden kullanılabilir.

Bu genişletilmiş destek, geliştiricilere nesneleri gerçek zamanlı tespit etmekten sahneleri anlamaya, hareketleri izlemeye ve karmaşık görsel verileri analiz etmeye kadar uygulamalarına bağlı olarak farklı türde görü modelleri dağıtma esnekliği sağlar.

Dışa aktarıldıktan sonra modeller, çıkarım sırasında PyTorch'a güvenmeden dağıtılabilir ve çalıştırılabilir. Bunun yerine, video işleme, gerçek zamanlı tespit ve doğrudan uç cihazlarda takip gibi görevler için uçtan uca hatlar oluşturmayı destekleyen Voyager SDK çalışma zamanı kullanılarak yürütülürler.

Link to this sectionUltralytics YOLO modellerini dışa aktarmaya başlama#

Artık yeni dışa aktarma entegrasyonu hakkında daha iyi bir anlayışa sahip olduğumuza göre, Ultralytics YOLO modellerini bu özel formata nasıl dışa aktaracağımızı ve uçta Metis donanımı üzerinde nasıl çalıştıracağımızı adım adım inceleyelim.

Link to this sectionAdım: Ultralytics Python paketini yükle#

Başlamak için önce Ultralytics Python paketini yüklemeniz gerekir. YOLO modellerini eğitmek, değerlendirmek ve dışa aktarmak için basit ve tutarlı bir arayüz sağlar.

Bunu terminalinizde veya komut isteminizde aşağıdaki komutu çalıştırarak pip ile yükleyebilirsiniz:

pip install ultralytics

Kurulum veya dışa aktarma sırasında herhangi bir sorun yaşarsanız, resmi Ultralytics dokümantasyonu ve Yaygın Sorunlar kılavuzu sorun giderme için harika kaynaklardır.

Link to this sectionAdım 2: Axelera sürücülerini ve Voyager SDK'sını yükleyin#

Axelera donanımında modelleri dışa aktarmak ve çalıştırmak için Axelera sürücülerini ve Voyager SDK'sını da yüklemeniz gerekir. Bu adım, Metis AIPU ile iletişimi sağlar ve gerekli çalışma zamanı ve derleyici araçlarını sağlar.

Aşağıdaki adımların Axelera AI Metis donanımına erişimi olan bir Linux ortamında gerçekleştirilmesi gerekir. Sisteminizde bir terminal açın veya uyumlu bir yerel kurulumda Jupyter Notebook çalıştırıyorsanız bir notebook hücresi kullanın ve aşağıdaki komutları yürütün.

Axelera depo anahtarını aşağıdaki gibi ekleyerek başlayın:

sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

Ardından, aşağıda gösterildiği gibi, Axelera deposunu sisteminize ekleyin:

sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

Daha sonra Voyager SDK'sını yükleyin ve Metis sürücüsünü aşağıdaki gibi yükleyin:

sudo apt update
sudo apt install -y metis-dkms=1.4.16
sudo modprobe metis

Bu adımlar tamamlandıktan sonra sisteminiz, Ultralytics YOLO modellerini Axelera AI Metis cihazlarında dışa aktarmaya ve çalıştırmaya hazır olacaktır.

Link to this sectionAdım 3: Ultralytics YOLO modellerini dışa aktarma#

Ultralytics paketi yüklendikten sonra YOLO modelinizi yükleyebilir ve Metis için derlenmiş bir paket olarak dışa aktarabilirsiniz. Bu işlem, modeli Axelera AI Metis donanımında dağıtım için optimize edilmiş bir formata dönüştürür.

Aşağıdaki örnekte, önceden eğitilmiş bir YOLO26 nano modeli kullanıyoruz ve bunu Metis için dışa aktarıyoruz. Dışa aktarılan model "/yolo26n_axelera_model" adlı bir dizine kaydedilecektir.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="axelera")

Link to this sectionAdım 4: Dışa aktarılan model ile çıkarım çalıştırma#

Modeli dışa aktardıktan sonra, onu yükleyebilir ve görülmemiş görüntüler veya video akışları üzerinde çıkarım çalıştırabilirsiniz. Bu, Axelera AI Metis cihazlarında doğrudan gerçek zamanlı bilgisayarlı görü görevlerini mümkün kılar.

Örneğin, aşağıdaki kod parçacığı dışa aktarılan modelin nasıl yükleneceğini ve herkese açık bir URL üzerinde çıkarımın nasıl çalıştırılacağını gösterir.

axelera_model = YOLO("yolo26n_axelera_model")

results = axelera_model("https://ultralytics.com/images/bus.jpg", save=True)

Bu durumda model, girdi görüntüsünü analiz eder ve nesneleri tespit ederek sonuçları "runs/detect/predict" dizinine kaydeder.

Link to this sectionUltralytics YOLO ve Axelera AI donanımının nerede fark yaratabileceği#

Şimdi, Ultralytics YOLO modellerinin gerçek dünya senaryolarında Axelera AI donanımı üzerinde dağıtılabileceği bazı yaygın uç yapay zeka uygulamalarını tartışalım.

Axelera AI’nın Metis AIPU'ları, gömülü sistemlerden endüstriyel PC'lere, robotik ve uç sunuculara kadar bir dizi dağıtım ortamı için tasarlanmıştır. Yüksek performanslı, enerji verimli çıkarım ile bilgisayarlı görü uygulamalarının endüstriler genelinde doğrudan cihaz üzerinde çalışmasını sağlarlar. Voyager SDK ayrıca ML ve APP mühendislerinin modelleri uç için ticarileştirmesi için bir boru hattı oluşturucu içerir.

Link to this sectionPerakendede uçta çalışan akıllı görü sistemleri#

Perakende ortamlarında, müşteri davranışını gerçek zamanlı olarak anlamak önemli bir fark yaratabilir.

Axelera AI donanımı üzerinde çalışan Ultralytics YOLO modellerini kullanan mağazalar, yaya trafiğini izleyebilir, insanları sayabilir ve mağaza içi hareket kalıplarını oldukları anda analiz edebilir. Her şey cihaz üzerinde çalıştığından, içgörüler bulut bağlantısına güvenmeden anında oluşturulabilir ve ekiplerin veri gizliliğini korurken daha hızlı yanıt vermesine yardımcı olur.

Şekil 3. YOLO26 kullanarak bir alışveriş merkezinde insanları tespit etme ve sayma

Link to this sectionKamu hizmeti ve altyapı denetimi için uç yapay zeka kullanma#

Elektrik hatları gibi büyük ölçekli altyapıların bakımı karmaşık ve kaynak yoğun bir iştir. Bu ağlar genellikle çok geniş mesafelere yayılır, bu da denetimleri zaman alıcı, maliyetli ve potansiyel olarak tehlikeli hale getirir. Arızalar veya erken aşınma belirtileri fark edilmediğinde, bunlar kesintilere, ekipman hasarına veya güvenlik risklerine dönüşebilir.

Dronlar, denetim verimliliğini artırmak için giderek daha fazla kullanılmaktadır. Uzun mesafeleri kat edebilir, ulaşılması zor alanlara erişebilir ve kritik varlıkların yüksek çözünürlüklü görüntülerini yakalayabilirler.

Dronları uç yapay zeka ile birleştirmek, bu iş akışlarını daha da geliştirir. Axelera AI donanımı üzerinde çalışan Ultralytics YOLO modelleri, denetimler sırasında gerçek zamanlı analize olanak tanır; arızaları tanımlar, bileşenleri sınıflandırır ve yerinde anormallikleri tespit eder. Bu, manuel inceleme ihtiyacını azaltır ve daha hızlı, daha güvenilir altyapı izlemeyi destekler.

Şekil 4. YOLO26 ile bir elektrik hattının çeşitli parçalarını tespit etme

Link to this sectionRobotikleri gerçek zamanlı görü yapay zekası içgörüleriyle güçlendirme#

Robotik için hız ve duyarlılık kritiktir. İster bir depoda geziniyor olsunlar ister dinamik endüstriyel ortamlarda çalışıyor olsunlar, robotların çevrelerini anında yorumlamaları gerekir.

Axelera AI donanımı üzerinde çalışan Ultralytics YOLO modelleri, robotların engelleri tespit etmekten insanları takip etmeye ve nesneleri tanımlamaya kadar çevrelerini gerçek zamanlı olarak yorumlamalarını sağlar. Bu, sistemlerin sabit bir bulut bağlantısına güvenmeden daha güvenli hareket etmelerini, dinamik koşullara uyum sağlamalarını ve daha fazla özerklikle çalışmalarını sağlar.

Link to this sectionUltralytics YOLO modellerini Metis AIPU'larda çalıştırmanın temel faydaları#

İşte yeni entegrasyonu kullanarak Ultralytics YOLO modellerini Axelera AI’nın Metis donanımı üzerinde dağıtmanın temel avantajlarından bazıları:

• Ultralytics iş akışı ile sorunsuz entegrasyon: YOLO modellerini Metis dağıtımı için dışa aktarmak, Ultralytics Python paketine doğal bir şekilde uyum sağlar ve eğitimden çıkarıma geçişi basitleştirir.
• Birden fazla bilgisayarlı görü görevi için destek: YOLOv8, YOLO11 ve YOLO26 genelinde nesne tespiti, poz tahmini, segmentasyon, sınıflandırma ve daha fazlası için modeller dağıtabilirsiniz.
• Modelleri paralel çalıştırın: Metis AIPU'lar, ihtiyaçlarınıza uyacak şekilde dört ayrı modeli paralel olarak çalıştırabilen dört adet bağımsız programlanabilir çekirdek ile tasarlanmıştır.
• Uç yapay zeka uygulamaları genelinde ölçeklenebilir: Perakende analitiği ve endüstriyel denetimden robotik ve akıllı altyapıya kadar, entegrasyon çok çeşitli gerçek dünya kullanım durumlarını destekler.

Link to this sectionÖne çıkanlar#

Ultralytics YOLO modelleri ve Axelera AI’nın Metis AIPU'ları, yüksek performanslı bilgisayarlı görüyü uca taşımayı kolaylaştırır. Dağıtımı basitleştirerek ve modelleri özel donanım için optimize ederek, bu entegrasyon geliştirme ile gerçek dünya uygulamaları arasındaki boşluğu kapatmaya yardımcı olur.

Uç yapay zeka büyümeye devam ettikçe, verimli ve ölçeklenebilir dağıtım seçeneklerine sahip olmak, duyarlı ve güvenilir sistemler oluşturmanın anahtarı olacaktır. Bu iş birliği, gelişmiş görü yapay zekasını endüstriler genelinde daha erişilebilir hale getirme yolunda atılmış bir adımdır.

Yapay zeka hakkında daha fazla bilgi edinmek ister misin? GitHub depomuzu keşfet, topluluğumuzla bağlantı kur ve bilgisayarlı görü projene hız kazandırmak için lisanslama seçeneklerimize göz at. Perakendede yapay zeka ve sağlık hizmetlerinde bilgisayarlı görü gibi yeniliklerin geleceği nasıl şekillendirdiğini öğren.