DeGirum ile nicelenmiş Ultralytics YOLOv8 modellerini uç cihazlarda dağıtma

Madrid'deki hareketli Google for Startups Kampüsü'nde düzenlenen YOLO VISION 2023 (YV23) etkinliğimizdeki bir başka ufuk açıcı konuşmanın özetine hoş geldin. Bu konuşmayı, DeGirum şirketinde Baş Mimar ve Kurucu Ortak olan Shashi Chilappagar gerçekleştirdi. Konuşmada kuantizasyon ve kuantize edilmiş modellerin dağıtımı ele alınarak temel zorluklar, çözümler ve geleceğe yönelik olasılıklar incelendi.

Kuantizasyona ve kuantize edilmiş modellerin dağıtımına giriş#

Shashi, kuantizasyon hakkında kapsamlı bir genel bakış sunarak Ultralytics YOLO modellerinin uç cihazlarda dağıtım için optimize edilmesindeki önemini vurguladı. Katılımcılar, temel konuların ele alınmasından kuantizasyonu iyileştirmeye yönelik yaklaşımların incelenmesine kadar model taşıma ve dağıtım süreçlerinin incelikleri hakkında değerli bilgiler edindi.

YOLO modellerinin kuantizasyonundaki zorluklar#

Kuantizasyon, özellikle TFLite içindeki YOLO modellerinde, çoğu zaman zorluklara yol açar. Tüm çıktılar aynı ölçek/sıfır noktası ile kuantize edildiğinde gözlemlenen önemli doğruluk düşüşünü öğrenen izleyicilerimiz, kuantizasyon sürecinde model doğruluğunu korumanın ne kadar karmaşık olduğunu gördü.

YOLO modellerinin kuantizasyonunu iyileştirme#

Neyse ki bu zorlukların üstesinden gelmek için çözümler mevcut. DeGirum çatallanmasının kullanıma sunulması, çıktıları ayırıp sınırlayıcı kutu kod çözümünü optimize ederek kuantizasyona uygun bir yaklaşım sağlıyor. Bu iyileştirmeler sayesinde kuantize edilmiş model doğruluğu, temel seviyelere kıyasla önemli ölçüde artıyor.

Kuantizasyona daha uygun model mimarileri#

Yeni model mimarilerini keşfetmek, kuantizasyon kaybını en aza indirmek açısından büyük önem taşır. Katılımcılar, SiLU aktivasyonunun sınırlı ReLU6 aktivasyonuyla değiştirilmesinin kuantizasyon kaybını en aza indirdiğini ve kuantize edilmiş modellerde doğruluğu korumak için umut vadeden sonuçlar sunduğunu öğrendi.

Kuantize edilmiş modelleri dağıtma#

Herhangi bir modeli DeGirum bulut platformunda çalıştırmak için yalnızca beş satır kod gerektiğinden, kuantize edilmiş modelleri dağıtmek hiç olmadığı kadar kolay. Canlı kod demosunda, kuantize edilmiş bir Ultralytics YOLOv5 modeliyle nesne algılamanın ne kadar kolay olduğu gösterildi ve kuantize edilmiş modellerin gerçek dünya uygulamalarına sorunsuz entegrasyonu vurgulandı.

Bu doğrultuda Ultralytics, son kullanıcıların uygulamalarını gömülü ve uç cihazlarda etkili bir şekilde dağıtmasını sağlayan çeşitli model dağıtım seçenekleri sunar. Farklı dışa aktarma biçimleri arasında OpenVINO, TorchScript, TensorRT, CoreML, TFLite ve TFLite Edge TPU bulunur; bu seçenekler esneklik ve uyumluluk sağlar.

Dağıtım için üçüncü taraf uygulamalarla yapılan bu entegrasyon, kullanıcıların modellerimizin performansını gerçek dünya senaryolarında değerlendirmesine olanak tanır.

Farklı donanımlarda farklı modeller kullanma#

Katılımcılar ayrıca farklı modellerin çeşitli donanım platformlarında dağıtılmasının çok yönlülüğü hakkında bilgi edindi ve tek bir kod tabanının farklı hızlandırıcılarda birden fazla modeli nasıl destekleyebileceğini gördü. Farklı donanım platformlarında çeşitli algılama görevlerinin çalıştırıldığı örnekler, yaklaşımımızın esnekliğini ve ölçeklenebilirliğini ortaya koydu.

Kaynaklar ve belgeler#

Katılımcıları daha da desteklemek amacıyla bulut platformumuza, örneklere, belgelere ve daha fazlasına erişim sağlayan kapsamlı bir kaynaklar bölümü sunduk. Amacımız, herkesin kuantize edilmiş modelleri etkili bir şekilde dağıtmak için ihtiyaç duyduğu araçlara ve desteğe sahip olmasını sağlamak.

Sonuç#

Kuantizasyon alanı geliştikçe bilgilenmek ve sürece dahil olmak çok önemlidir. Bu heyecan verici yolculukta sana rehberlik edecek sürekli destek ve kaynaklar sunmaya kararlıyız. Konuşmanın tamamına göz at: Konuşmanın tamamını izle!

Makine öğrenimi ve yapay zekâ alanlarındaki en son trendleri ve yenilikleri keşfetmeye devam ederken bize katıl. Birlikte teknolojinin geleceğini şekillendiriyor ve dünyada olumlu değişimi destekliyoruz.