DeGirum ile uç cihazlarda nicelenmiş Ultralytics YOLOv8 modellerini dağıtma

Madrid'deki canlı Google for Startups Campus'te düzenlenen YOLO VISION 2023 (YV23) etkinliğimizdeki bir diğer ilginç konuşmanın özetine hoş geldin. Bu konuşma, DeGirum Şirketinin Baş Mimarı ve Kurucu Ortağı Shashi Chilappagar tarafından gerçekleştirildi. Konuşmada niceleme (quantization) dünyası ve niceşenmiş modellerin dağıtımı derinlemesine ele alınırken, temel zorluklar, çözümler ve gelecek olasılıkları keşfedildi.

Kuantizasyona ve kuantize edilmiş modellerin dağıtımına giriş#

Shashi, nicelemenin kapsamlı bir genel bakışını sunarak Ultralytics YOLO modellerini uç cihazlarda (edge devices) dağıtmak için optimize etmedeki önemini vurguladı. Temelleri tartışmaktan nicelemeyi geliştirmeye yönelik yaklaşımları keşfetmeye kadar katılımcılar, model taşıma ve dağıtımının incelikleri hakkında değerli bilgiler edindi.

YOLO modellerini kuantize etmedeki zorluklar#

Niceleme, özellikle TFLite içindeki YOLO modelleriyle genellikle zorluklar doğurur. Dinleyicilerimiz, tüm çıktılar aynı ölçek/sıfır noktasıyla niceleştiğinde gözlenen önemli doğruluk düşüşü hakkında bilgi edinerek niceleme süreci sırasında model doğruluğunu korumanın karmaşıklığına ışık tuttu.

YOLO modellerinin kuantizasyonunu iyileştirme#

Neyse ki bu zorlukları ele alacak çözümler mevcut. DeGirum çatalının (fork) tanıtılması, çıktıları ayırarak ve sınırlayıcı kutu kod çözmeyi optimize ederek kuantizasyon dostu bir yaklaşım sunuyor. Bu iyileştirmelerle, kuantize edilmiş model doğruluğu temel seviyelerden önemli bir artış görüyor.

Daha kuantizasyon dostu model mimarileri#

Yeni model mimarilerini keşfetmek, kuantizasyon kaybını en aza indirmek için anahtardır. Katılımcılar, SiLU'yu sınırlı ReLU6 aktivasyonuyla değiştirmenin nasıl minimum kuantizasyon kaybına yol açtığını ve kuantize edilmiş modellerde doğruluğu korumak için umut verici sonuçlar sunduğunu keşfetti.

Kuantize edilmiş modellerin dağıtımı#

DeGirum bulut platformunda herhangi bir modeli çalıştırmak için yalnızca beş satır koda ihtiyaç duyulduğundan, niceşenmiş modelleri dağıtmak hiç bu kadar kolay olmamıştı. Canlı bir kod demosu, niceşenmiş bir Ultralytics YOLOv5 modeliyle nesne tespit etmenin basitliğini sergileyerek niceşenmiş modellerin gerçek dünya uygulamalarına kusursuz entegrasyonunu vurguladı.

Bu amaçla Ultralytics, son kullanıcıların uygulamalarını gömülü ve uç cihazlarda etkili bir şekilde dağıtmasını sağlayan çeşitli model dağıtım seçenekleri sunar. Farklı dışa aktarma formatları arasında OpenVINO, TorchScript, TensorRT, CoreML, TFLite ve TFLite Edge TPU yer alır ve bunlar çok yönlülük ile uyumluluk sunar.

Dağıtım için üçüncü taraf uygulamalarla yapılan bu entegrasyon, kullanıcıların modellerimizin performansını gerçek dünya senaryolarında değerlendirmelerine olanak tanır.

Farklı donanımlarda farklı modeller kullanma#

Katılımcılar ayrıca, tek bir kod tabanının farklı hızlandırıcılarda birden fazla modeli nasıl destekleyebileceğini göstererek, çeşitli donanım platformlarında farklı modelleri dağıtmanın çok yönlülüğü hakkında da içgörüler kazandı. Farklı donanım platformlarında çeşitli tespit görevlerini çalıştırma örnekleri, yaklaşımımızın esnekliğini ve ölçeklenebilirliğini gösterdi.

Kaynaklar ve dokümantasyon#

Katılımcıları daha da güçlendirmek için bulut platformumuza, örneklerimize, belgelere ve daha fazlasına erişim sağlayan kapsamlı bir kaynaklar bölümü tanıttık. Amacımız, herkesin niceşenmiş modelleri başarılı bir şekilde dağıtmak için ihtiyaç duyduğu araçlara ve desteğe sahip olmasını sağlamaktır.

Toparlarken#

Niceleme alanı gelişirken, bilgili ve ilgili kalmak esastır. Bu heyecan verici yolculukta ilerlemene yardımcı olmak için sürekli destek ve kaynaklar sağlamaya kararlıyız. Konuşmanın tamamına göz at Watch the full talk!

Makine öğrenimi ve yapay zekadaki en son trendleri ve yenilikleri keşfetmeye devam ederken bize katıl. Birlikte, teknolojinin geleceğini şekillendiriyor ve dünyada olumlu bir değişim yaratıyoruz.