Yolo Vision Shenzhen
Shenzhen
Şimdi katılın

DeGirum ile uç cihazlarda nicelleştirilmiş Ultralytics YOLOv8 modellerini dağıtma

Nuvola Ladi

3 dakikalık okuma

27 Mart 2024

DeGirum ile nicelleştirilmiş YOLOv8 modellerini dağıtmayı keşfedin. Uç cihazlar için zorlukları, çözümleri ve dağıtım tekniklerini öğrenin. Geleceği bizimle şekillendirin!

Madrid'deki canlı Google for Startups Kampüsünde düzenlenen YOLO VISION 2023 (YV23) etkinliğimizden bir başka aydınlatıcı konuşmanın özetine hoş geldiniz. Bu konuşma DeGirum'un Baş Mimarı ve Kurucu Ortağı Shashi Chilappagar tarafından gerçekleştirildi. Konuşma, nicelleştirmenin ve nicelleştirilmiş modelleri kullanmanın büyüleyici dünyasına girerek temel zorlukları, çözümleri ve gelecekteki olasılıkları araştırdı.

Kuantizasyona ve kuantize edilmiş modellerin dağıtımına giriş

Shashi, nicelemeye kapsamlı bir genel bakış sunarak nicelemenin optimizasyondaki önemini vurguladı Ultralytics Uç cihazlarda dağıtım için YOLO modelleri. Katılımcılar, temel konuların tartışılmasından nicelleştirmenin iyileştirilmesine yönelik yaklaşımların keşfedilmesine kadar, model taşıma ve dağıtımının incelikleri hakkında değerli bilgiler edindiler.

YOLO modellerinin nicelleştirilmesindeki zorluklar

Kuantizasyon, özellikle YOLO modellerinde sıklıkla zorluklara yol açmaktadır. TFLite. İzleyicilerimiz, tüm çıktılar aynı ölçek/sıfır noktası ile kuantize edildiğinde gözlemlenen doğruluktaki önemli düşüş hakkında bilgi edinerek kuantizasyon işlemi sırasında model doğruluğunu korumanın karmaşıklıklarına ışık tuttu.

YOLO modellerinin nicelleştirilmesinin iyileştirilmesi

Neyse ki, bu zorlukların üstesinden gelmek için çözümler var. DigiRAM çatallanmasının tanıtımı, çıktıları ayırarak ve sınırlayıcı kutu kod çözmeyi optimize ederek kuantizasyon dostu bir yaklaşım sunar. Bu geliştirmelerle, kuantize edilmiş model doğruluğu temel seviyelerden önemli bir iyileşme gösterir.

Daha kuantizasyon dostu model mimarileri

Yeni model mimarilerini keşfetmek, kuantizasyon kaybını en aza indirmek için çok önemlidir. Katılımcılar, CILU'nun sınırlı Relu6 aktivasyonuyla değiştirilmesinin nasıl minimum kuantizasyon kaybına yol açtığını ve kuantize edilmiş modellerde doğruluğu korumak için umut verici sonuçlar sunduğunu keşfettiler.

Kuantize edilmiş modellerin dağıtımı

Digitim bulut platformunda herhangi bir modeli çalıştırmak için gereken sadece beş satır kod ile nicelenmiş modelleri dağıtmak hiç bu kadar kolay olmamıştı. Canlı bir kod demosu, nesneleri nicelleştirilmiş bir kod ile tespit etmenin basitliğini sergiledi Ultralytics YOLOv5 modeli ile nicelleştirilmiş modellerin gerçek dünya uygulamalarına sorunsuz entegrasyonunu vurgulamaktadır. 

Bu amaçla Ultralytics , çeşitli model dağıtım seçenekleri sunarak son kullanıcıların uygulamalarını gömülü ve uç cihazlara etkili bir şekilde dağıtmalarını sağlar. Farklı dışa aktarma formatları şunları içerir OpenVINO, TorchScript, TensorRT, CoreML, TFlite ve TFlite EDGE TPU, çok yönlülük ve uyumluluk sunar. 

Dağıtım için üçüncü taraf uygulamalarla bu entegrasyon, kullanıcıların modellerimizin performansını gerçek dünya senaryolarında değerlendirmesine olanak tanır.

Farklı donanımlarda farklı modeller kullanma

Katılımcılar ayrıca, farklı donanım platformlarında farklı modellerin dağıtımının çok yönlülüğü hakkında bilgi edinerek, tek bir kod tabanının farklı hızlandırıcılarda birden çok modeli nasıl destekleyebileceğini gösterdiler. Farklı donanım platformlarında farklı tespit görevlerini çalıştırma örnekleri, yaklaşımımızın esnekliğini ve ölçeklenebilirliğini gösterdi.

Kaynaklar ve dokümantasyon

Katılımcıları daha da güçlendirmek için, bulut platformumuza, örneklere, belgelere ve daha fazlasına erişim sağlayan kapsamlı bir kaynak bölümü sunduk. Amacımız, herkesin kuantize edilmiş modelleri etkili bir şekilde dağıtmak için ihtiyaç duyduğu araçlara ve desteğe sahip olmasını sağlamaktır.

Özet

Kuantizasyon alanı geliştikçe, bilgi sahibi olmak ve sürece dahil olmak önemlidir. Bu heyecan verici yolculukta size yardımcı olmak için sürekli destek ve kaynaklar sağlamaya kararlıyız. Konuşmanın tamamına buradan göz atın! 

Makine öğrenimi ve yapay zekadaki en son trendleri ve yenilikleri keşfetmeye devam ederken bize katılın. Birlikte, teknolojinin geleceğini şekillendiriyor ve dünyada olumlu değişimi yönlendiriyoruz.

Gelin, yapay zekanın geleceğini
birlikte inşa edelim!

Makine öğreniminin geleceği ile yolculuğunuza başlayın

Ücretsiz başlayın