"Tüm Çerezleri Kabul Et" seçeneğine tıklayarak, sitede gezinmeyi geliştirmek, site kullanımını analiz etmek ve pazarlama çabalarımıza yardımcı olmak için cihazınızda çerezlerin saklanmasını kabul edersiniz. Daha fazla bilgi
Çerez Ayarları
"Tüm Çerezleri Kabul Et" seçeneğine tıklayarak, sitede gezinmeyi geliştirmek, site kullanımını analiz etmek ve pazarlama çabalarımıza yardımcı olmak için cihazınızda çerezlerin saklanmasını kabul edersiniz. Daha fazla bilgi
Ultralytics YOLO modellerini optimize etmeye yardımcı olmak için Sony'nin IMX500 sensör ve AITRIOS platformu ile son teknoloji yapay zeka işleme alanındaki atılımlarını özetlerken bize katılın.
Oturum, Sony'nin görüntüleme çözümlerine odaklanan bir İş Geliştirme Müdürü olan Wei Tang ve edge cihazlardaderin öğrenme modellerini yerleştirme konusunda uzmanlığa sahip bir Edge Derin Öğrenme Ürün Müdürü olan Amir Servi tarafından yönetildi.
Bu makalede, Sony'nin YV24'teki konuşmasını tekrar gözden geçirecek ve IMX500 sensör ile AITRIOS platformunun daha hızlı, gerçek zamanlı, uçta yapay zeka işleme için YOLO modellerinin kullanımını nasıl optimize ettiğini inceleyeceğiz. Hadi başlayalım!
Wei Tang, oturumu Sony'nin edge YZ'yi yıllar önce fotoğrafçılıkta yaptıkları kadar erişilebilir kılma hedefini anlatarak açtı. Sony'nin artık gelişmiş Görüntü YZ'yi edge bilişim yoluyla daha fazla insana ulaştırmaya odaklandığını vurguladı. Bunun arkasındaki itici güçlerden biri, edge YZ'nin çevre üzerinde yaratabileceği olumlu etkidir. Verileri büyük veri merkezlerine güvenmek yerine doğrudan cihazlarda işleyerek, edge bilişim enerji kullanımını azaltmaya ve karbon emisyonlarını düşürmeye yardımcı olur. Bu, yalnızca daha iyi çalışmakla kalmayıp aynı zamanda daha sürdürülebilir bir gelecek yaratmaya da yardımcı olan bir teknoloji inşa etme konusundaki Sony'nin taahhüdüyle mükemmel bir şekilde örtüşen daha akıllı, daha çevreci bir yaklaşımdır.
Wei, Sony'nin görüntüleme ve algılama teknolojilerinde uzmanlaşmış bölümü olan Sony Semiconductor Solutions'ın gelişmiş görüntü sensörleri nasıl oluşturduğunu açıklamaya devam etti. Bu sensörler, ışığı görüntü yakalamak için elektronik sinyallere dönüştürerek çeşitli cihazlarda kullanılır. Her yıl 1,2 milyardan fazla sensör sevk edildiğinden, dünyanın cep telefonlarının neredeyse yarısında bulunuyorlar ve bu da Sony'yi görüntüleme endüstrisinde önemli bir oyuncu yapıyor.
Şekil 1. Sony'nin Görüntü Sensörlerinden Örnekler.
Bu uzmanlığa dayanarak, Sony şimdi bu sensörleri görüntü yakalama cihazlarından gerçek zamanlı olarak veri işleyebilen ve doğrudan cihazlarda YZ destekli içgörüler sağlayan akıllı araçlara dönüştürerek işleri daha da ileriye taşıyor. Sony'nin bu değişimi desteklemek için kullandığı donanım ve yazılım çözümlerini tartışmadan önce, bu yeniliklerin çözmeyi amaçladığı edge YZ zorluklarını anlayalım.
Edge cihazlarda YZ görüntü işlemesiyle ilgili zorluklar
Edge YZ çözümleri geliştirmek, özellikle kameralar ve sensörler gibi cihazlarla çalışırken bazı önemli zorluklarla birlikte gelir. Bu cihazların çoğu sınırlı güce ve işlem yeteneğine sahiptir, bu da gelişmiş YZ modellerini verimli bir şekilde çalıştırmayı zorlaştırır.
İşte diğer bazı temel sınırlamalar:
Yazılım karmaşıklığı: YZ modellerini farklı donanım yapılandırmalarına sahip çeşitli edge cihazlarda çalışacak şekilde uyarlamak karmaşık olabilir ve ayarlamalar ve optimizasyonlar gerektirebilir.
İşlem sonrası darboğazlar: Genellikle büyük miktarda verinin cihazdan ana bilgisayara işlem sonrası için aktarılmasında bir gecikme yaşanır. Bu, genellikle gerçek YZ model çıkarımından daha fazla zaman tüketir.
Veri patlaması: Birçok IoT cihazının sürekli olarak veri üretmesiyle, yerel olarak işlenmesi gereken veri hacmi çok büyük olabilir ve bu da edge cihazlarını daha da zorlar.
Sony IMX500 akıllı görüntü sensörünü tanıma
Sony IMX500 Akıllı Görüntü Sensörü, edge YZ işlemede ezber bozan bir donanımdır. Çip üzerinde YZ yeteneklerine sahip dünyanın ilk akıllı görüntü sensörüdür. Bu sensör, veri işleme darboğazları, gizlilik endişeleri ve performans sınırlamaları dahil olmak üzere edge YZ'deki birçok zorluğun üstesinden gelmeye yardımcı olur.
Diğer sensörler yalnızca görüntüleri ve kareleri aktarırken, IMX500 tüm hikayeyi anlatır. Verileri doğrudan sensör üzerinde işler ve cihazların gerçek zamanlı olarak içgörü üretmesine olanak tanır. Oturum sırasında Wei Tang, "Gelişmiş görüntü sensörü teknolojimizden yararlanarak, günlük yaşamı iyileştirebilecek yeni nesil uygulamaları güçlendirmeyi amaçlıyoruz" dedi. IMX500, verileri işleme şeklini doğrudan sensör üzerinde, işlenmek üzere buluta göndermeye gerek kalmadan dönüştürerek bu hedefi karşılamak üzere tasarlanmıştır.
İşte bazı temel özellikleri:
Meta veri çıktısı: Tam görüntüleri göndermek yerine, meta veri çıktısı verir, bu da veri boyutunu önemli ölçüde azaltır, bant genişliği kullanımını ve maliyetleri düşürür.
Gerçek zamanlı işleme: Sensörün verileri hızlı bir şekilde işleme yeteneği, otonom sistemler gibi edge YZ uygulamalarını sağlayan hızlı, gerçek zamanlı karar almayı desteklediği anlamına gelir.
IMX500 sadece bir kamera sensörü değil, cihazların çevrelerindeki dünyayı algılama ve etkileşim kurma biçimlerini dönüştüren güçlü bir algılama aracıdır. Sony, yapay zekayı doğrudan sensörün içine yerleştirerek otomotiv, sağlık hizmetleri ve akıllı şehirler gibi sektörler için uç yapay zekayı daha erişilebilir hale getiriyor. Sonraki bölümlerde, uç cihazlarda nesne algılamayı ve veri işlemeyi iyileştirmek için IMX500'ün Ultralytics YOLO modelleriyle nasıl çalıştığını daha derinlemesine inceleyeceğiz.
Şekil 2. Wei Tang, YOLO VIiion 2024'te sahnede Sony IMX500 Akıllı Görüş Sensörünü tanıtıyor.
Wei Tang, IMX500 sensörünü tanıttıktan sonra, donanımın kritik öneme sahip olduğunu ancak tek başına uç AI dağıtımında karşılaşılan zorlukların tamamını çözmek için yeterli olmadığını belirtti. Kameralar ve sensörler gibi cihazlara AI entegre etmenin, gelişmiş donanımdan daha fazlasını gerektirdiğini, bunu yönetmek için akıllı bir yazılıma ihtiyaç duyulduğunu söyledi. Sony'nin AITRIOS platformu da tam bu noktada devreye girerek, uç cihazlarda AI dağıtımını daha basit ve verimli hale getirmek için tasarlanmış güvenilir bir yazılım çözümü sunuyor.
AITRIOS, karmaşık AI modelleri ile uç cihazların sınırlamaları arasında bir köprü görevi görüyor. Geliştiricilere, önceden eğitilmiş AI modellerini hızla dağıtmak için çeşitli araçlar sunuyor. Ancak daha da önemlisi, AI modellerinin gerçek dünya değişikliklerine uyum sağlayabilmesi için sürekli yeniden eğitimi destekliyor.
Wei ayrıca, AITRIOS'un derinlemesine AI uzmanlığına sahip olmayanlar için süreci nasıl basitleştirdiğini, belirli uç AI kullanım durumları için AI modellerini özelleştirme esnekliği sunduğunu vurguladı. Ayrıca, bellek kısıtlamaları ve performans düşüşleri gibi yaygın zorlukların üstesinden gelerek, doğruluğu veya hızı feda etmeden AI'yı daha küçük cihazlara entegre etmeyi kolaylaştırıyor.
Şekil 3. Uç AI kullanım örnekleri. Resim kaynağı: SONY Semicon | AITRIOS.
IMX500'de YOLO modellerini optimize etme
Konuşmanın ikinci bölümünde mikrofon, Sony'nin IMX500 sensöründe YOLO modellerini nasıl optimize ettiğinin teknik yönünü anlatan Amir'e geçti.
Amir sözlerine şöyle başladı: " Glenn ve ekibi sayesindeYOLO modelleri uç noktalarda kullanılabiliyor ve optimize edilmesi oldukça kolay. Sizi bu konuda ikna edeceğim, endişelenmeyin." Amir daha sonra, YZ modelinin kendisinin optimize edilmesine genellikle çok fazla odaklanılırken, bu yaklaşımın genellikle önemli bir sorunu gözden kaçırdığını açıkladı: işlem sonrası darboğazlar.
Amir, çoğu durumda, AI modeli görevini tamamladıktan sonra, verileri aktarma ve bir ana cihazda işlem sonrası işlemleri gerçekleştirme sürecinin önemli gecikmelere neden olabileceğine dikkat çekti. Cihaz ve ana bilgisayar arasındaki bu veri aktarımı, en iyi performansı elde etmede büyük bir engel olabilecek gecikmeye neden olur.
Şekil 4. Amir Servi YOLO Vision 2024'te sahnede işlem sonrası darboğazları anlatıyor.
Amir bunun üstesinden gelmek için sadece AI modeline odaklanmak yerine uçtan uca sistemin tamamına bakmanın önemini vurguladı. IMX500 sensörüyle, işlem sonrası sürecin her şeyi yavaşlatan ana darboğaz olduğunu keşfettiler. Asıl atılımın çip üzerinde maksimum olmayan bastırmanın (NMS) kilidini açmak olduğunu paylaştı.
Post prosesin doğrudan sensör üzerinde gerçekleşmesini sağlayarak büyük miktarda verinin bir ana cihaza aktarılması ihtiyacını ortadan kaldırdı. Sony, NMS 'yi doğrudan IMX500 üzerinde çalıştırarak Amir'in "post-processing cam tavan" olarak adlandırdığı durumu aştı ve çok daha iyi performans ve gecikme azaltma elde etti.
Şekil 6. İşlem sonrası darboğazının aşılması. Resim kaynağı: SONY Semicon | AITRIOS
Daha sonra, bu yeniliğin özellikle YOLO modellerine nasıl yardımcı olduğuna bir göz atacağız YOLOv8 Nano, uç cihazlarda daha verimli çalışarak daha küçük, kaynak kısıtlı donanımlarda gerçek zamanlı yapay zeka işleme için yeni fırsatlar yaratır.
YOLOv8 modelleri Sony'nin IMX500'ü ile 4 kat hız artışı elde ediyor
Konuşmasını büyük bir başarıyla tamamlayan Amir, NMS 'yi edge üzerinde çalıştırarak YOLOv8 NMS modelinin performansını nasıl dört katına çıkarabildiklerini gösterdi. Bunu IMX500 AI sensörüyle entegre edilmiş bir Raspberry Pi 5 üzerinde sergiledi. Amir, post-processing işleminin bir ana cihazda ve IMX500 çipinde gerçekleştirildiği durumlardaki performansı karşılaştırdı.
Sonuçlar, işlemenin çip üzerinde yapılması durumunda saniyedeki kare sayısında (FPS) ve genel verimlilikte büyük bir iyileşme olduğunu açıkça gösterdi. Optimizasyon, nesne tespitini daha hızlı ve sorunsuz hale getirdi ve ayrıca Raspberry Pi gibi daha küçük, kaynak kısıtlı cihazlarda gerçek zamanlı AI işlemenin pratikliğini gösterdi.
Önemli çıkarımlar
Sony'nin IMX500 sensörü, AITRIOS platformu ve Ultralytics YOLO modelleri, uç yapay zeka gelişimini yeniden şekillendiriyor. Çip üzerinde yapay zeka işleme, veri aktarımını ve gecikmeyi azaltırken gizliliği, güvenliği ve verimliliği artırıyor. Sadece yapay zeka modeline değil, tüm sisteme odaklanan bu yenilikler, uç yapay zekayı geliştiriciler ve derin yapay zeka uzmanlığı olmayanlar için daha erişilebilir hale getiriyor. Uç yapay zeka teknolojisi gelişmeye devam ettikçe, muhtemelen çok çeşitli sektörlerde ve uygulamalarda daha akıllı cihazlar, daha hızlı karar verme ve daha güçlü gizlilik korumaları sağlayacaktır.
AI hakkında daha fazla bilgi edinmek için topluluğumuzla bağlantıda kalın! GitHub depomuzu inceleyerek, tarım ve üretim gibi çeşitli sektörlerde yenilikçi çözümler oluşturmak için AI'yı nasıl kullanabileceğimizi keşfedin. 🚀
