DeGirum ile kuantize edilmiş Ultralytics YOLOv8 modellerini uç cihazlara dağıtma

Madrid'deki Google for Startups Campus'ta düzenlenen YOLO VISION 2023 (YV23) etkinliğimizden bir başka bilgilendirici konuşmanın özetine hoş geldin. Konuşmayı DeGirum şirketinin baş mimarı ve kurucu ortağı Shashi Chilappagar yaptı. Konuşmada niceleme ve niceleme uygulanmış modellerin dağıtımı ele alınarak temel zorluklar, çözümler ve gelecekteki olanaklar incelendi.

Nicelemeye ve niceleme uygulanmış modellerin dağıtımına giriş#

Shashi, nicelemeye kapsamlı bir genel bakış sundu ve Ultralytics YOLO modellerini uç cihazlarda dağıtım için optimize etmenin önemini vurguladı. Katılımcılar, temel bilgilerden nicelemeyi iyileştirme yaklaşımlarına kadar model taşıma ve dağıtımının inceliklerine ilişkin değerli bilgiler edindi.

YOLO modellerini nicelemedeki zorluklar#

Niceleme, özellikle TFLite kullanan YOLO modellerinde sık sık zorluklara yol açar. Katılımcılarımız, tüm çıktılar aynı ölçek/sıfır noktasıyla nicelemeye tabi tutulduğunda gözlemlenen önemli doğruluk düşüşünü öğrendi ve niceleme sürecinde model doğruluğunu korumanın karmaşıklıklarını gördü.

YOLO modellerinin nicelemesini iyileştirme#

Neyse ki bu zorlukları aşmaya yönelik çözümler var. DeGirum çatallamasının sunulması, çıktıları ayırıp sınırlayıcı kutu kod çözümlemesini optimize ederek nicelemeye elverişli bir yaklaşım sağlıyor. Bu iyileştirmelerle niceleme uygulanmış modellerin doğruluğu, temel düzeye kıyasla önemli ölçüde artıyor.

Nicelemeye daha elverişli model mimarileri#

Niceleme kaybını en aza indirmek için yeni model mimarilerini incelemek önemlidir. Katılımcılar, SiLU'yu sınırlandırılmış ReLU6 aktivasyonuyla değiştirmenin niceleme kaybını en aza indirdiğini ve niceleme uygulanmış modellerde doğruluğu koruma açısından umut verici sonuçlar sunduğunu öğrendi.

Niceleme uygulanmış modellerin dağıtımı#

Niceleme uygulanmış modelleri dağıtmak kolaydır; herhangi bir modeli DeGirum bulut platformunda çalıştırmak için yalnızca beş satır kod gerekir. Canlı kod demosunda, niceleme uygulanmış bir Ultralytics YOLOv5 modeliyle nesneleri tespit etmenin ne kadar kolay olduğu gösterildi ve bu modellerin gerçek dünya uygulamalarına ne kadar rahat entegre edilebildiği vurgulandı.

Bu amaçla Ultralytics, son kullanıcıların uygulamalarını gömülü ve uç cihazlarda etkili bir şekilde dağıtabilmesi için çeşitli model dağıtım seçenekleri sunuyor. Farklı dışa aktarma biçimleri arasında OpenVINO, TorchScript, TensorRT, CoreML, TFLite ve TFLite Edge TPU yer alıyor; bu seçenekler esneklik ve uyumluluk sağlıyor.

Dağıtım için üçüncü taraf uygulamalarla yapılan bu entegrasyon, kullanıcıların modellerimizin gerçek dünya senaryolarındaki performansını değerlendirmesine olanak tanır.

Farklı donanımlarda farklı modeller kullanma#

Katılımcılar ayrıca çeşitli donanım platformlarında farklı modeller dağıtmanın esnekliğini öğrendi ve tek bir kod tabanının farklı hızlandırıcılarda birden fazla modeli nasıl destekleyebileceğini gördü. Çeşitli donanım platformlarında farklı tespit görevlerini çalıştırma örnekleri, yaklaşımımızın esnekliğini ve ölçeklenebilirliğini gösterdi.

Kaynaklar ve belgeler#

Katılımcılara daha fazla destek olmak için bulut platformumuza, örneklere, belgelere ve daha fazlasına erişim sağlayan kapsamlı bir kaynaklar bölümü sunduk. Amacımız, herkesin niceleme uygulanmış modelleri etkili bir şekilde dağıtmak için ihtiyaç duyduğu araçlara ve desteğe sahip olmasını sağlamak.

Kapanış#

Niceleme alanı geliştikçe güncel kalmak ve sürece katılmak önemlidir. Bu gelişen alanda yolunu bulmana yardımcı olmak için sürekli destek ve kaynaklar sunmaya kararlıyız. YouTube'da konuşmanın tamamını izle.

Makine öğrenmesi ve yapay zekâ alanlarındaki en son eğilimleri ve yenilikleri keşfetmeye devam ederken bize katıl.