Sony IMX500 ve AITRIOS ile Edge AI'ı Güçlendirmek

Edge AI, akıllı telefonlar, kameralar ve drone'lar gibi cihazlarda yapay zeka (AI) modellerinin doğrudan çalıştırılmasını sağlar. En önemli avantajı, buluta bağımlı kalmadan daha hızlı, gerçek zamanlı karar vermeyi desteklemesidir. Nitekim araştırmalar, uç platformlarda AI kullanımının operasyonel verimliliği %40'a kadar artırabileceğini göstermektedir.

Uç AI alanındaki son gelişmeler, özellikle de computer vision konusundaki yenilikler, yapay zeka meraklılarını ve uzmanlarını Vision AI alanındaki en son yenilikleri keşfetmek üzere bir araya getiren Ultralytics'in yıllık hibrit etkinliği YOLO Vision 2024 (YV24) etkinliğinde burayı merkezi bir konu haline getirdi. Etkinliğin önemli anlarından biri, en son AI donanımı ve yazılım çözümlerini sergiledikleri Sony'nin açılış sunumu oldu. IMX500 sensörü ile AITRIOS platformu tanıtıldı ve Sony, bu yeniliklerin Ultralytics YOLO11 ve Ultralytics YOLOv8 gibi Ultralytics YOLO modellerini uçta konuşlandırmayı nasıl daha kolay ve verimli hale getirdiğini gösterdi.

Oturum, Sony'nin görüntüleme çözümleri üzerine çalışan İş Geliştirme Müdürü Wei Tang ve uç cihazlarda derin öğrenme modelleri konuşlandırma konusunda uzmanlığa sahip Uç Derin Öğrenme Ürün Müdürü Amir Servi tarafından yönetildi.

Bu makalede, Sony'nin YV24'teki konuşmasını tekrar inceleyecek ve IMX500 sensörü ile AITRIOS platformunun YOLO modellerinin uçta daha hızlı, gerçek zamanlı yapay zeka işleme için kullanımını nasıl optimize ettiğini keşfedeceğiz. Haydi başlayalım!

Sony'nin vizyonu: Yapay zekayı uç cihazlarda demokratikleştirmek#

Wei Tang, oturuma Sony'nin yıllar önce fotoğrafta yaptığı gibi uç AI'ı da aynı ölçüde erişilebilir kılma hedefini anlatarak başladı. Sony'nin artık uç bilgi işlem aracılığıyla gelişmiş Vision AI'ı daha fazla kişiye ulaştırmaya nasıl odaklandığını vurguladı. Bunun arkasındaki itici güçlerden biri de uç AI'ın çevre üzerinde yaratabileceği olumlu etkiydi. Uç bilgi işlem, devasa veri merkezlerine güvenmek yerine verileri doğrudan cihazlarda işleyerek enerji kullanımını azaltmaya ve karbon emisyonlarını düşürmeye yardımcı olur. Bu, yalnızca daha iyi çalışan değil, aynı zamanda daha sürdürülebilir bir geleceğin oluşturulmasına yardımcı olan bir teknoloji üretme taahhüdüyle mükemmel bir şekilde örtüşen daha akıllı ve daha yeşil bir yaklaşımdır.

Wei, görüntüleme ve algılama teknolojilerinde uzmanlaşmış Sony birimi olan Sony Semiconductor Solutions'ın gelişmiş görüntü sensörlerini nasıl ürettiğini açıklamaya devam etti. Bu sensörler çeşitli cihazlarda kullanılır, görüntü yakalamak için ışığı elektronik sinyallere dönüştürür. Her yıl sevkiyatı yapılan 1,2 milyardan fazla sensörle, bu sensörler dünyanın cep telefonlarının neredeyse yarısında bulunmaktadır ve bu da Sony'yi görüntüleme endüstrisinde büyük bir oyuncu yapmaktadır.

Fig 1. Examples of Sony's Image Sensors.

Bu uzmanlığı temel alan Sony, bu sensörleri görüntü yakalama cihazlarından, verileri gerçek zamanlı olarak işleyebilen ve doğrudan cihazlarda yapay zeka destekli içgörüler sağlayan akıllı araçlara dönüştürerek işleri bir adım ileri taşıyor. Sony'nin bu değişimi desteklemek için kullandığı donanım ve yazılım çözümlerini tartışmadan önce, bu yeniliklerin çözmeyi amaçladığı uç AI zorluklarını anlayalım.

Uç cihazlarda yapay zeka görüntü işlemeyle ilgili zorluklar#

Kenar yapay zekası solutions geliştirmek, özellikle cameras ve sensörler gibi cihazlarla çalışırken birkaç önemli zorlukla birlikte gelir. Bu cihazların birçoğu sınırlı güç ve işleme yeteneğine sahiptir, bu da run advanced AI models işlemlerini verimli bir şekilde yürütmeyi zorlaştırır.

Diğer ana sınırlamalardan bazıları şunlardır:

• Yazılım karmaşıklığı: Yapay zeka modellerini farklı donanım yapılandırmalarına sahip çeşitli uç cihazlarda çalışacak şekilde uyarlamak karmaşık olabilir ve ayarlamalar ile optimizasyonlar gerektirebilir.
• İşlem sonrası darboğazları: Büyük miktarda verinin cihazdan ana bilgisayara (host) post-processing için aktarılması sırasında genellikle bir gecikme yaşanır. Bu durum genellikle gerçek AI model çıkarımından daha fazla zaman alır.
• Veri patlaması: Birçok IoT cihazı sürekli olarak veri üretirken, yerel olarak işlenmesi gereken veri hacmi bunaltıcı olabilir ve uç cihazları daha da zorlayabilir.

Sony IMX500 akıllı görüntü sensörünü tanımak#

Sony IMX500 Akıllı Görüntü Sensörü, uç AI işleminde ezber bozan bir donanımdır. Çip üstü yapay zeka yeteneklerine sahip dünyanın ilk akıllı görüntü sensörüdür. Bu sensör; veri işleme darboğazları, gizlilik endişeleri ve performans sınırlamaları dahil olmak üzere uç AI'daki birçok zorluğun üstesinden gelmeye yardımcı olur.

Diğer sensörler yalnızca görüntüleri ve kareleri aktarırken, IMX500 tam bir hikaye anlatır. Verileri doğrudan sensör üzerinde işleyerek cihazların gerçek zamanlı olarak içgörüler üretmesini sağlar. Oturum sırasında Wei Tang, "Gelişmiş görüntü sensörü teknolojimizden yararlanarak, günlük yaşamı iyileştirebilecek yeni nesil uygulamaları güçlendirmeyi amaçlıyoruz" dedi. IMX500, işlenmek üzere buluta göndermeye gerek kalmadan cihazların verileri doğrudan sensör üzerinde ele alma biçimini dönüştürerek bu hedefe ulaşmak üzere tasarlanmıştır.

İşte temel özelliklerinden bazıları:

• Meta veri çıktısı: Tam görüntüleri göndermek yerine meta veri çıktısı verir, bu da veri boyutunu önemli ölçüde azaltarak bant genişliği kullanımını ve maliyetleri düşürür.
• Gelişmiş gizlilik: Verileri cihaz üzerinde işleyerek IMX500, özellikle insanla ilgili computer vision tasks gibi person counting sensitive information içeren durumlarda privacy özelliğini iyileştirir.
• Gerçek zamanlı işleme: Sensörün verileri hızla işleme yeteneği, otonom sistemler gibi uç AI uygulamalarını mümkün kılan hızlı, gerçek zamanlı karar almayı desteklediği anlamına gelir.

IMX500 sadece bir kamera sensörü değildir; cihazların etraflarındaki dünyayı algılama ve dünyayla etkileşim kurma biçimini dönüştüren güçlü bir algılama aracıdır. Sony, yapay zekayı doğrudan sensör içine gömerek; otomotiv, sağlık ve akıllı şehirler gibi endüstriler için uç AI'ı daha erişilebilir hale getirmektedir. Sonraki bölümlerde, IMX500'ün uç cihazlarda nesne algılamayı ve veri işlemeyi iyileştirmek için Ultralytics YOLO modelleriyle nasıl çalıştığını daha derinlemesine inceleyeceğiz.

Şekil 2. Wei Tang, YOLO Vision 2024 sahnesinde Sony IMX500 Akıllı Görüntü Sensörünü tanıtıyor.

Sony’nin AITRIOS platformu: Uç yapay zekayı basitleştirmek#

IMX500 sensörünü tanıttıktan sonra Wei Tang, donanımın çok önemli olmasına rağmen uç AI dağıtımındaki zorlukların kapsamının tamamını ele almak için tek başına yeterli olmadığını belirtti. Kameralar ve sensörler gibi cihazlara yapay zeka entegre etmenin sadece gelişmiş donanımdan fazlasını gerektirdiğini, bunu yönetmek için akıllı yazılımlara ihtiyaç duyduğunu anlattı. Sony'nin AITRIOS platformu tam da burada devreye giriyor ve uç cihazlarda yapay zeka dağıtımını daha basit ve daha verimli hale getirmek için tasarlanmış güvenilir bir yazılım çözümü sunuyor.

AITRIOS, karmaşık yapay zeka modelleri ile uç cihazların kısıtlamaları arasında bir köprü görevi görür. Geliştiricilere önceden eğitilmiş yapay zeka modellerini hızlı bir şekilde dağıtmak için bir dizi araç sağlar. Ancak daha da önemlisi, yapay zeka modellerinin gerçek dünya değişikliklerine uyum sağlayabilmesi için sürekli yeniden eğitimi destekler.

Wei ayrıca AITRIOS'un derin yapay zeka uzmanlığına sahip olmayanlar için süreci nasıl basitleştirdiğini, belirli uç AI kullanım durumları için yapay zeka modellerini özelleştirme esnekliği sunduğunu vurguladı. Ayrıca bellek kısıtlamaları ve performans düşüşleri gibi yaygın zorlukların üstesinden gelerek, doğruluk veya hızdan ödün vermeden yapay zekayı daha küçük cihazlara entegre etmeyi kolaylaştırır.

Şekil 3. Uç yapay zeka kullanım örnekleri. Görsel kaynağı: SONY Semicon | AITRIOS.

YOLO modellerini IMX500 üzerinde optimize etmek#

Konuşmanın ikinci bölümünde sözü Amir devraldı ve Sony'nin IMX500 sensörü üzerinde YOLO modellerini nasıl optimize ettiğinin teknik yönlerine daldı.

Amir söze şöyle başladı: “YOLO modelleri uç odaklıdır Glenn ve ekibi sayesinde optimize edilmesi oldukça kolaydır. Sizi buna ikna edeceğim, merak etmeyin.” Amir daha sonra, odak noktasının genellikle yapay zekanın kendisini optimize etmeye verildiğini, ancak bu yaklaşımın genellikle çok önemli bir sorunu göz ardı ettiğini açıkladı: işlem sonrası darboğazları (post-processing bottlenecks).

Amir, birçok durumda yapay zeka modeli görevini tamamladıktan sonra, verileri aktarma ve ana cihazda post-processing işlemlerini yürütme sürecinin önemli gecikmelere neden olabileceğine dikkat çekti. Cihaz ile ana bilgisayar arasındaki bu ileri geri veri aktarımı, en iyi performansa ulaşmanın önünde büyük bir engel olabilecek gecikme (latency) süresi ortaya çıkarır.

Şekil 4. Amir Servi, YOLO Vision 2024 sahnesinde işlem sonrası darboğazlarını açıklıyor.

Bununla başa çıkmak için Amir, yalnızca yapay zeka modeline odaklanmak yerine uçtan uca sistemin tamamına bakmanın önemini vurguladı. IMX500 sensörü ile her şeyi yavaşlatan ana darboğazın post-processing olduğunu keşfettiler. Gerçek kırılma noktasının, çip üstü non-maximum suppression (NMS) kilidini açmak olduğunu paylaştı.

Bu, işlem sonrası işlemlerin doğrudan sensör üzerinde gerçekleşmesini sağladı ve büyük miktarda veriyi bir ana cihaza aktarma ihtiyacını ortadan kaldırdı. NMS'yi doğrudan IMX500 üzerinde çalıştırarak Sony, Amir'in "işlem sonrası cam tavanı" olarak adlandırdığı engeli aştı ve çok daha iyi performans ve gecikme süresi iyileştirmesi elde etti.

Şekil 5. İşlem sonrası darboğazını aşmak. Görsel kaynağı: SONY Semicon | AITRIOS

Sonra, bu yeniliğin YOLO modellerinin, özellikle de Ultralytics YOLOv8 Nano'nun kenar cihazlarda daha verimli çalışmasına nasıl yardımcı olduğunu ve daha küçük, kaynak kısıtlı donanımlar üzerinde gerçek zamanlı yapay zeka işleme için yeni fırsatlar yarattığını inceleyeceğiz.

Ultralytics YOLOv8 modelleri, Sony'nin IMX500'ü ile 4 kat hız artışı elde ediyor#

Konuşmayı yüksek bir notla tamamlayan Amir, NMS'yi kenarda çalıştırarak Ultralytics YOLOv8 Nano modelinin performansını nasıl dört katına çıkarabildiklerini gösterdi. Bunu, IMX500 AI sensörüyle entegre edilmiş bir Raspberry Pi 5 üzerinde sergiledi. Amir, son işlem bir ana bilgisayarda gerçekleştirildiğinde elde edilen performance ile IMX500 çipinde gerçekleştirildiğinde elde edilen performansı karşılaştırdı.

Sonuçlar, işleme çip üzerinde yapıldığında saniyedeki kare sayısı (FPS) ve genel verimlilikte büyük bir iyileşme olduğunu açıkça gösterdi. Optimizasyon, nesne algılamayı daha hızlı ve daha pürüzsüz hale getirmekle kalmadı, aynı zamanda Raspberry Pi gibi daha küçük, kaynak kısıtlı cihazlarda gerçek zamanlı yapay zeka işlemenin pratikliğini de kanıtladı.

Öne çıkanlar#

Sony'nin IMX500 sensörü, AITRIOS platformu ve Ultralytics YOLO modelleri uç yapay zeka geliştirmeyi yeniden şekillendiriyor. Çip üzerindeki yapay zeka işleme, veri aktarımını ve gecikmeyi azaltırken gizliliği, güvenliği ve verimliliği artırıyor. Sadece yapay zeka modeline değil, tüm sisteme odaklanan bu yenilikler, uç yapay zekayı geliştiriciler ve derin yapay zeka uzmanlığı olmayanlar için daha erişilebilir hale getiriyor. Uç yapay zeka teknolojisi ilerlemeye devam ettikçe, çok çeşitli endüstrilerde ve uygulamalarda daha akıllı cihazlar, daha hızlı karar verme ve daha güçlü gizlilik korumaları sağlayacaktır.

Yapay zeka hakkında bilgi edinmeye devam etmek için topluluğumuzla bağlantıda kal! tarım ve üretim gibi çeşitli endüstrilerde yenilikçi çözümler oluşturmak için yapay zekayı nasıl kullanabileceğimizi keşfetmek üzere GitHub depomuzu incele. 🚀