DeGirum ile uç cihazlarda nicelenmiş Ultralytics YOLOv8 modellerini dağıtma

Welcome to the recap of another insightful talk from our YOLO VISION 2023 (YV23) event, held at the vibrant Google for Startups Campus in Madrid. This talk was delivered by Shashi Chilappagar, Chief Architect and Co-Founder at DeGirum. It delved into the fascinating world of quantization and deploying quantized models, exploring key challenges, solutions, and future possibilities.

Link to this sectionKuantizasyona ve kuantize edilmiş modellerin dağıtımına giriş#

Shashi, kuantizasyonun kapsamlı bir genel bakışını sunarak Ultralytics YOLO modellerini uç cihazlarda dağıtım için optimize etmedeki önemini vurguladı. Temelleri tartışmaktan kuantizasyonu iyileştirmeye yönelik yaklaşımları keşfetmeye kadar, katılımcılar model taşıma ve dağıtımın incelikleri hakkında değerli bilgiler edindi.

Link to this sectionYOLO modellerini kuantize etmedeki zorluklar#

Kuantizasyon, özellikle TFLite içindeki YOLO modelleriyle sıklıkla zorluklar çıkarır. İzleyicilerimiz, tüm çıktılar aynı ölçek/sıfır noktası ile kuantize edildiğinde gözlemlenen önemli doğruluk düşüşünü öğrendi ve kuantizasyon sürecinde model doğruluğunu korumanın karmaşıklığına ışık tuttu.

Link to this sectionYOLO modellerinin kuantizasyonunu iyileştirme#

Neyse ki bu zorlukları ele alacak çözümler mevcut. DeGirum çatalının (fork) tanıtılması, çıktıları ayırarak ve sınırlayıcı kutu kod çözmeyi optimize ederek kuantizasyon dostu bir yaklaşım sunuyor. Bu iyileştirmelerle, kuantize edilmiş model doğruluğu temel seviyelerden önemli bir artış görüyor.

Link to this sectionDaha kuantizasyon dostu model mimarileri#

Yeni model mimarilerini keşfetmek, kuantizasyon kaybını en aza indirmek için anahtardır. Katılımcılar, SiLU'yu sınırlı ReLU6 aktivasyonuyla değiştirmenin nasıl minimum kuantizasyon kaybına yol açtığını ve kuantize edilmiş modellerde doğruluğu korumak için umut verici sonuçlar sunduğunu keşfetti.

Link to this sectionKuantize edilmiş modellerin dağıtımı#

DeGirum bulut platformunda herhangi bir modeli çalıştırmak için gereken sadece beş satır kodla, kuantize edilmiş modelleri dağıtmak hiç bu kadar kolay olmamıştı. Canlı bir kod demosu, kuantize edilmiş bir Ultralytics YOLOv5 modeliyle nesneleri tespit etmenin basitliğini sergileyerek, kuantize edilmiş modellerin gerçek dünya uygulamalarına kusursuz entegrasyonunu vurguladı.

Bu amaçla Ultralytics, son kullanıcıların uygulamalarını gömülü ve uç cihazlarda etkili bir şekilde dağıtmalarını sağlayan çeşitli model dağıtım seçenekleri sunar. Farklı dışa aktarma formatları arasında çok yönlülük ve uyumluluk sunan OpenVINO, TorchScript, TensorRT, CoreML, TFLite ve TFLite Edge TPU bulunur.

Dağıtım için üçüncü taraf uygulamalarla yapılan bu entegrasyon, kullanıcıların modellerimizin performansını gerçek dünya senaryolarında değerlendirmelerine olanak tanır.

Link to this sectionFarklı donanımlarda farklı modeller kullanma#

Katılımcılar ayrıca, tek bir kod tabanının farklı hızlandırıcılarda birden fazla modeli nasıl destekleyebileceğini göstererek, çeşitli donanım platformlarında farklı modelleri dağıtmanın çok yönlülüğü hakkında da içgörüler kazandı. Farklı donanım platformlarında çeşitli tespit görevlerini çalıştırma örnekleri, yaklaşımımızın esnekliğini ve ölçeklenebilirliğini gösterdi.

Link to this sectionKaynaklar ve dokümantasyon#

Katılımcıları daha da güçlendirmek için bulut platformumuza, örneklerimize, dokümantasyonumuza ve daha fazlasına erişim sağlayan kapsamlı bir kaynak bölümü sunduk. Hedefimiz, herkesin kuantize edilmiş modelleri etkili bir şekilde dağıtmak için ihtiyaç duyduğu araçlara ve desteğe sahip olmasını sağlamaktır.

Link to this sectionToparlarken#

Niceleme alanı geliştikçe, bilgilenmek ve dahil olmak büyük önem taşıyor. Bu heyecan verici yolculuğunda sana rehberlik etmek için sürekli destek ve kaynak sağlamaya kararlıyız. Konuşmanın tamamına göz at: Konuşmanın tamamını izle!

Makine öğrenimi ve yapay zekadaki en son trendleri ve yenilikleri keşfetmeye devam ederken bize katıl. Birlikte, teknolojinin geleceğini şekillendiriyor ve dünyada olumlu bir değişim yaratıyoruz.