Edge AI, yapay zeka (YZ) modellerinin doğrudan akıllı telefonlar, kameralar ve drone'lar gibi cihazlarda çalışmasını sağlar. En önemli avantajı, buluta bağımlı kalmadan daha hızlı, gerçek zamanlı karar almayı desteklemesidir. Hatta araştırmalar, edge platformlarda YZ kullanımının operasyonel verimliliği %40'a kadar artırabileceğini gösteriyor. 

Edge AI'daki, özellikle de bilgisayarla görme alanındaki son gelişmeler, onu Ultralytics'in yıllık karma etkinliği olan ve YZ meraklılarını ve uzmanlarını Görüntü YZ'deki en son gelişmeleri keşfetmek için bir araya getiren YOLO Vision 2024'te (YV24) merkezi bir konu haline getirdi. Etkinliğin öne çıkan kısımlarından biri, Sony'nin yeni, son teknoloji YZ donanımı ve yazılım çözümlerini sergilediği ana sunumuydu. IMX500 sensörü ve AITRIOS platformu tanıtıldı ve Sony, bu yeniliklerin Ultralytics YOLO modellerini (örneğin Ultralytics YOLO11 ve Ultralytics YOLOv8) edge'e yerleştirmeyi nasıl daha kolay ve verimli hale getirdiğini gösterdi.

Oturum, Sony'nin görüntüleme çözümlerine odaklanan bir İş Geliştirme Müdürü olan Wei Tang ve edge cihazlarda derin öğrenme modellerini yerleştirme konusunda uzmanlığa sahip bir Edge Derin Öğrenme Ürün Müdürü olan Amir Servi tarafından yönetildi. 

Bu makalede, Sony'nin YV24'teki konuşmasını tekrar ziyaret edeceğiz ve IMX500 sensörü ile AITRIOS platformunun, YOLO modellerinin daha hızlı, gerçek zamanlı edge üzerinde YZ işleme için kullanımını nasıl optimize ettiğini keşfedeceğiz. Haydi başlayalım!

Sony'nin vizyonu: YZ'yi edge cihazlarda demokratikleştirmek

Wei Tang, oturumu Sony'nin edge YZ'yi yıllar önce fotoğrafçılıkta yaptıkları kadar erişilebilir kılma hedefini anlatarak açtı. Sony'nin artık gelişmiş Görüntü YZ'yi edge bilişim yoluyla daha fazla insana ulaştırmaya odaklandığını vurguladı. Bunun arkasındaki itici güçlerden biri, edge YZ'nin çevre üzerinde yaratabileceği olumlu etkidir. Verileri büyük veri merkezlerine güvenmek yerine doğrudan cihazlarda işleyerek, edge bilişim enerji kullanımını azaltmaya ve karbon emisyonlarını düşürmeye yardımcı olur. Bu, yalnızca daha iyi çalışmakla kalmayıp aynı zamanda daha sürdürülebilir bir gelecek yaratmaya da yardımcı olan bir teknoloji inşa etme konusundaki Sony'nin taahhüdüyle mükemmel bir şekilde örtüşen daha akıllı, daha çevreci bir yaklaşımdır.

Wei, Sony'nin görüntüleme ve algılama teknolojilerinde uzmanlaşmış bölümü olan Sony Semiconductor Solutions'ın gelişmiş görüntü sensörleri nasıl oluşturduğunu açıklamaya devam etti. Bu sensörler, ışığı görüntü yakalamak için elektronik sinyallere dönüştürerek çeşitli cihazlarda kullanılır. Her yıl 1,2 milyardan fazla sensör sevk edildiğinden, dünyanın cep telefonlarının neredeyse yarısında bulunuyorlar ve bu da Sony'yi görüntüleme endüstrisinde önemli bir oyuncu yapıyor. 

‍

Bu uzmanlığa dayanarak, Sony şimdi bu sensörleri görüntü yakalama cihazlarından gerçek zamanlı olarak veri işleyebilen ve doğrudan cihazlarda YZ destekli içgörüler sağlayan akıllı araçlara dönüştürerek işleri daha da ileriye taşıyor. Sony'nin bu değişimi desteklemek için kullandığı donanım ve yazılım çözümlerini tartışmadan önce, bu yeniliklerin çözmeyi amaçladığı edge YZ zorluklarını anlayalım.

Edge cihazlarda YZ görüntü işlemesiyle ilgili zorluklar

Edge YZ çözümleri geliştirmek, özellikle kameralar ve sensörler gibi cihazlarla çalışırken bazı önemli zorluklarla birlikte gelir. Bu cihazların çoğu sınırlı güce ve işlem yeteneğine sahiptir, bu da gelişmiş YZ modellerini verimli bir şekilde çalıştırmayı zorlaştırır.

İşte diğer bazı temel sınırlamalar:

• Yazılım karmaşıklığı: YZ modellerini farklı donanım yapılandırmalarına sahip çeşitli edge cihazlarda çalışacak şekilde uyarlamak karmaşık olabilir ve ayarlamalar ve optimizasyonlar gerektirebilir.
  ‍
• İşlem sonrası darboğazlar: Genellikle büyük miktarda verinin cihazdan ana bilgisayara işlem sonrası için aktarılmasında bir gecikme yaşanır. Bu, genellikle gerçek YZ model çıkarımından daha fazla zaman tüketir.
  ‍
• Veri patlaması: Birçok IoT cihazının sürekli olarak veri üretmesiyle, yerel olarak işlenmesi gereken veri hacmi çok büyük olabilir ve bu da edge cihazlarını daha da zorlar.

Sony IMX500 akıllı görüntü sensörünü tanıma

Sony IMX500 Akıllı Görüntü Sensörü, edge YZ işlemede ezber bozan bir donanımdır. Çip üzerinde YZ yeteneklerine sahip dünyanın ilk akıllı görüntü sensörüdür. Bu sensör, veri işleme darboğazları, gizlilik endişeleri ve performans sınırlamaları dahil olmak üzere edge YZ'deki birçok zorluğun üstesinden gelmeye yardımcı olur.

Diğer sensörler yalnızca görüntüleri ve kareleri aktarırken, IMX500 tüm hikayeyi anlatır. Verileri doğrudan sensör üzerinde işler ve cihazların gerçek zamanlı olarak içgörü üretmesine olanak tanır. Oturum sırasında Wei Tang, "Gelişmiş görüntü sensörü teknolojimizden yararlanarak, günlük yaşamı iyileştirebilecek yeni nesil uygulamaları güçlendirmeyi amaçlıyoruz" dedi. IMX500, verileri işleme şeklini doğrudan sensör üzerinde, işlenmek üzere buluta göndermeye gerek kalmadan dönüştürerek bu hedefi karşılamak üzere tasarlanmıştır.

İşte bazı temel özellikleri:

• Meta veri çıktısı: Tam görüntüleri göndermek yerine, meta veri çıktısı verir, bu da veri boyutunu önemli ölçüde azaltır, bant genişliği kullanımını ve maliyetleri düşürür.
  ‍
• Gelişmiş gizlilik: IMX500, verileri cihazda işleyerek, özellikle insanla ilgili bilgisayarla görme görevleri (örneğin kişi sayma) gibi hassas bilgilerin söz konusu olduğu durumlarda gizliliği artırır.
  ‍
• Gerçek zamanlı işleme: Sensörün verileri hızlı bir şekilde işleme yeteneği, otonom sistemler gibi edge YZ uygulamalarını sağlayan hızlı, gerçek zamanlı karar almayı desteklediği anlamına gelir.

IMX500 sadece bir kamera sensörü değil, cihazların çevrelerindeki dünyayı algılama ve etkileşim kurma biçimini dönüştüren güçlü bir algılama aracıdır. Sony, YZ'yi doğrudan sensöre yerleştirerek, otomotiv, sağlık hizmetleri ve akıllı şehirler gibi endüstriler için edge YZ'yi daha erişilebilir hale getiriyor. Sonraki bölümlerde, IMX500'ün edge cihazlarda nesne tespiti ve veri işlemeyi iyileştirmek için Ultralytics YOLO modelleriyle nasıl çalıştığını daha derinlemesine inceleyeceğiz.

‍

Sony'nin AITRIOS platformu: Edge YZ'yi basitleştirme

Wei Tang, IMX500 sensörünü tanıttıktan sonra, donanımın kritik öneme sahip olduğunu ancak tek başına uç AI dağıtımında karşılaşılan zorlukların tamamını çözmek için yeterli olmadığını belirtti. Kameralar ve sensörler gibi cihazlara AI entegre etmenin, gelişmiş donanımdan daha fazlasını gerektirdiğini, bunu yönetmek için akıllı bir yazılıma ihtiyaç duyulduğunu söyledi. Sony'nin AITRIOS platformu da tam bu noktada devreye girerek, uç cihazlarda AI dağıtımını daha basit ve verimli hale getirmek için tasarlanmış güvenilir bir yazılım çözümü sunuyor.

AITRIOS, karmaşık AI modelleri ile uç cihazların sınırlamaları arasında bir köprü görevi görüyor. Geliştiricilere, önceden eğitilmiş AI modellerini hızla dağıtmak için çeşitli araçlar sunuyor. Ancak daha da önemlisi, AI modellerinin gerçek dünya değişikliklerine uyum sağlayabilmesi için sürekli yeniden eğitimi destekliyor. 

Wei ayrıca, AITRIOS'un derinlemesine AI uzmanlığına sahip olmayanlar için süreci nasıl basitleştirdiğini, belirli uç AI kullanım durumları için AI modellerini özelleştirme esnekliği sunduğunu vurguladı. Ayrıca, bellek kısıtlamaları ve performans düşüşleri gibi yaygın zorlukların üstesinden gelerek, doğruluğu veya hızı feda etmeden AI'yı daha küçük cihazlara entegre etmeyi kolaylaştırıyor. 

‍

IMX500 üzerinde YOLO modellerini optimize etme

Konuşmanın ikinci bölümünde, mikrofon Amir'e devredildi ve Sony'nin YOLO modellerini IMX500 sensöründe nasıl optimize ettiğinin teknik detaylarına girdi. 

Amir sözlerine şöyle başladı: "YOLO modelleri, uç bilişimi mümkün kılıyor ve Glenn ve ekibi sayesinde optimize edilmesi oldukça kolay. Sizi buna ikna edeceğim, endişelenmeyin." Amir daha sonra, tipik olarak odağın büyük ölçüde AI modelinin kendisini optimize etmeye yönelik olmasına rağmen, bu yaklaşımın genellikle kritik bir endişeyi gözden kaçırdığını açıkladı: işlem sonrası darboğazlar.

Amir, çoğu durumda, AI modeli görevini tamamladıktan sonra, verileri aktarma ve bir ana cihazda işlem sonrası işlemleri gerçekleştirme sürecinin önemli gecikmelere neden olabileceğine dikkat çekti. Cihaz ve ana bilgisayar arasındaki bu veri aktarımı, en iyi performansı elde etmede büyük bir engel olabilecek gecikmeye neden olur.

‍

Bununla başa çıkmak için Amir, sadece AI modeline odaklanmak yerine, tüm uçtan uca sisteme bakmanın önemini vurguladı. IMX500 sensörü ile, işlem sonrası sürecin her şeyi yavaşlatan ana darboğaz olduğunu keşfettiler. Çip üzerinde non-maximum suppression (NMS)'ın kilidini açmanın gerçek atılım olduğunu paylaştı. 

Bu, işlem sonrası sürecin doğrudan sensör üzerinde gerçekleşmesini sağlayarak, büyük miktarda verinin bir ana cihaza aktarılması ihtiyacını ortadan kaldırdı. NMS'yi doğrudan IMX500 üzerinde çalıştırarak, Sony, Amir'in "işlem sonrası cam tavanı" olarak adlandırdığı engeli aşarak çok daha iyi performans ve gecikme süresi azalması elde etti.

‍

Ardından, bu yeniliğin YOLO modellerinin, özellikle de YOLOv8 Nano'nun, uç cihazlarda daha verimli çalışmasına nasıl yardımcı olduğunu ve daha küçük, kaynak kısıtlı donanımlarda gerçek zamanlı AI işleme için yeni fırsatlar yarattığını inceleyeceğiz.

YOLOv8 modelleri, Sony'nin IMX500'ü ile 4 kat hız artışı elde ediyor

Amir, konuşmayı yüksek bir notla bitirirken, NMS'yi uçta çalıştırarak YOLOv8 Nano modelinin performansını nasıl dört katına çıkarabildiklerini gösterdi. Bunu, IMX500 AI sensörü ile entegre edilmiş bir Raspberry Pi 5 üzerinde sergiledi. Amir, işlem sonrası sürecin bir ana cihazda mi yoksa IMX500 çipinde mi yapıldığı durumlardaki performansı karşılaştırdı. 

Sonuçlar, işlemenin çip üzerinde yapılması durumunda saniyedeki kare sayısında (FPS) ve genel verimlilikte büyük bir iyileşme olduğunu açıkça gösterdi. Optimizasyon, nesne tespitini daha hızlı ve sorunsuz hale getirdi ve ayrıca Raspberry Pi gibi daha küçük, kaynak kısıtlı cihazlarda gerçek zamanlı AI işlemenin pratikliğini gösterdi.

Önemli çıkarımlar

Sony'nin IMX500 sensörü, AITRIOS platformu ve Ultralytics YOLO modelleri, uç AI geliştirmeyi yeniden şekillendiriyor. Çip üzerinde AI işleme, veri aktarımını ve gecikmeyi azaltırken gizliliği, güvenliği ve verimliliği artırıyor. Sadece AI modeline değil, tüm sisteme odaklanarak, bu yenilikler uç AI'yı geliştiriciler ve derinlemesine AI uzmanlığına sahip olmayanlar için daha erişilebilir hale getiriyor. Uç AI teknolojisi gelişmeye devam ettikçe, muhtemelen çok çeşitli endüstrilerde ve uygulamalarda daha akıllı cihazlara, daha hızlı karar almaya ve daha güçlü gizlilik korumalarına olanak sağlayacaktır.

AI hakkında daha fazla bilgi edinmek için topluluğumuzla bağlantıda kalın! GitHub depomuzu inceleyerek, tarım ve üretim gibi çeşitli sektörlerde yenilikçi çözümler oluşturmak için AI'yı nasıl kullanabileceğimizi keşfedin. 🚀