Sony IMX500 ve AITRIOS ile Edge AI'ı Güçlendirmek

Uç Yapay Zeka (Edge AI), yapay zeka (AI) modellerinin doğrudan akıllı telefonlar, kameralar ve dronlar gibi cihazlarda çalışmasını sağlar. En önemli avantajı, buluta bağımlı kalmadan daha hızlı ve gerçek zamanlı karar almayı desteklemesidir. Hatta araştırmalar, uç platformlarda yapay zeka kullanmanın operasyonel verimliliği %40'a kadar artırabildiğini göstermektedir.

Recent advancements in edge AI, particularly in computer vision, made it a central topic at YOLO Vision 2024 (YV24), Ultralytics' annual hybrid event that brings together AI enthusiasts and experts to explore the latest in Vision AI. One of the event's highlights was Sony's keynote presentation, where they showcased their new cutting-edge AI hardware and software solutions. The IMX500 sensor and AITRIOS platform were featured, and Sony demonstrated how these innovations are making it easier and more efficient to deploy Ultralytics YOLO models like Ultralytics YOLO11 and Ultralytics YOLOv8 on edge.

The session was led by Wei Tang, a Business Development Manager who focuses on Sony's imaging solutions, and Amir Servi, an Edge Deep Learning Product Manager with expertise in deploying deep learning models on edge devices.

Bu makalede, Sony'nin YV24'teki konuşmasını tekrar inceleyecek ve IMX500 sensörü ile AITRIOS platformunun YOLO modellerinin uçta daha hızlı, gerçek zamanlı yapay zeka işleme için kullanımını nasıl optimize ettiğini keşfedeceğiz. Haydi başlayalım!

Link to this sectionSony'nin vizyonu: Yapay zekayı uç cihazlarda demokratikleştirmek#

Wei Tang oturumu, Sony'nin uç yapay zekayı yıllar önce fotoğrafçılıkta yaptıkları gibi erişilebilir kılma hedefine değinerek açtı. Gelişmiş Vision AI dünyasını uç bilişim aracılığıyla daha fazla insana ulaştırmaya nasıl odaklandıklarını vurguladı. Bunun arkasındaki temel itici güçlerden biri, uç yapay zekanın çevre üzerindeki olumlu etkisi. Verileri devasa veri merkezlerine bağımlı olmak yerine doğrudan cihazlarda işleyerek, uç bilişim enerji kullanımını kısmaya ve karbon emisyonlarını azaltmaya yardımcı olur. Bu, Sony'nin yalnızca daha iyi çalışan değil, aynı zamanda daha sürdürülebilir bir gelecek yaratmaya yardımcı olan teknolojiler inşa etme taahhüdüyle mükemmel bir şekilde örtüşen daha akıllı ve daha çevreci bir yaklaşımdır.

Wei, görüntüleme ve algılama teknolojilerinde uzmanlaşmış bir Sony bölümü olan Sony Semiconductor Solutions'ın nasıl gelişmiş görüntü sensörleri yarattığını açıklamaya devam etti. Bu sensörler, görüntüleri yakalamak için ışığı elektronik sinyallere dönüştüren çeşitli cihazlarda kullanılır. Her yıl sevk edilen 1,2 milyardan fazla sensörle, dünyanın cep telefonlarının neredeyse yarısında bulunuyorlar, bu da Sony'yi görüntüleme endüstrisinde büyük bir oyuncu haline getiriyor.

Şekil 1. Sony'nin Görüntü Sensörlerinden Örnekler.

Bu uzmanlıktan yola çıkan Sony, şimdi bu sensörleri görüntü yakalayan cihazlardan, verileri gerçek zamanlı olarak işleyebilen ve doğrudan cihazlarda yapay zeka destekli içgörüler sağlayan akıllı araçlara dönüştürerek bir adım öteye taşıyor. Sony'nin bu değişimi desteklemek için kullandığı donanım ve yazılım çözümlerini tartışmadan önce, bu yeniliklerin çözmeyi amaçladığı uç yapay zeka zorluklarını anlayalım.

Link to this sectionUç cihazlarda yapay zeka görüntü işlemeyle ilgili zorluklar#

Uç yapay zeka çözümleri geliştirmek, özellikle kameralar ve sensörler gibi cihazlarla çalışırken bazı temel zorlukları beraberinde getirir. Bu cihazların birçoğu sınırlı güç ve işlem kapasitesine sahiptir, bu da gelişmiş yapay zeka modellerini verimli bir şekilde çalıştırmayı zorlaştırır.

Diğer ana sınırlamalardan bazıları şunlardır:

• Yazılım karmaşıklığı: Yapay zeka modellerini farklı donanım yapılandırmalarına sahip çeşitli uç cihazlarda çalışacak şekilde uyarlamak karmaşık olabilir ve ayarlamalar ile optimizasyonlar gerektirebilir.
• İşlem sonrası darboğazları: Veri işleme sonrası (post-processing) için büyük miktarda veriyi cihazdan ana bilgisayara aktarırken genellikle bir gecikme yaşanır. Bu süreç çoğu zaman gerçek yapay zeka model çıkarımından daha fazla zaman alır.
• Veri patlaması: Sürekli veri üreten birçok IoT cihazı varken, yerel olarak işlenmesi gereken veri hacmi bunaltıcı olabilir ve uç cihazları daha da zorlayabilir.

Link to this sectionSony IMX500 akıllı görüntü sensörünü tanımak#

Sony IMX500 Akıllı Görüntü Sensörü, uç yapay zeka işlemede oyunun kurallarını değiştiren bir donanımdır. Çip üzerinde yapay zeka yeteneklerine sahip dünyanın ilk akıllı görüntü sensörüdür. Bu sensör, veri işleme darboğazları, gizlilik endişeleri ve performans sınırlamaları dahil olmak üzere uç yapay zekadaki birçok zorluğun aşılmasına yardımcı olur.

Diğer sensörler sadece görüntüleri ve kareleri aktarırken, IMX500 her şeyi anlatır. Verileri doğrudan sensör üzerinde işleyerek cihazların gerçek zamanlı olarak içgörüler oluşturmasına olanak tanır. Oturum sırasında Wei Tang, "Gelişmiş görüntü sensörü teknolojimizden yararlanarak, günlük yaşamı iyileştirebilecek yeni nesil uygulamaları güçlendirmeyi amaçlıyoruz" dedi. IMX500, bu amaca ulaşmak için tasarlandı ve verilerin işlenmesi için buluta gönderilmesine gerek kalmadan, doğrudan sensör üzerinde işlenmesini sağlayarak cihazların veri yönetme biçimini dönüştürdü.

İşte temel özelliklerinden bazıları:

• Meta veri çıktısı: Tam görüntüleri göndermek yerine meta veri çıktısı verir, bu da veri boyutunu önemli ölçüde azaltarak bant genişliği kullanımını ve maliyetleri düşürür.
• Enhanced privacy: By processing data on the device, the IMX500 improves privacy, especially in situations where sensitive information is involved, such as human-related computer vision tasks like person counting.
• Gerçek zamanlı işleme: Sensörün verileri hızlı bir şekilde işleyebilme yeteneği, otonom sistemler gibi uç yapay zeka uygulamalarını mümkün kılan hızlı, gerçek zamanlı karar almayı desteklediği anlamına gelir.

The IMX500 is not just a camera sensor - it’s a powerful sensing tool that transforms how devices perceive and interact with the world around them. By embedding AI directly into the sensor, Sony is making edge AI more accessible for industries like automotive, healthcare, and smart cities. In subsequent sections, we'll dive deeper into how the IMX500 works with Ultralytics YOLO models to improve object detection and data processing on edge devices.

Şekil 2. Wei Tang, YOLO Vision 2024 sahnesinde Sony IMX500 Akıllı Görüntü Sensörünü tanıtıyor.

Link to this sectionSony’nin AITRIOS platformu: Uç yapay zekayı basitleştirmek#

IMX500 sensörünü tanıttıktan sonra Wei Tang, donanımın kritik olduğunu ancak uç yapay zeka dağıtımındaki tüm zorlukları tek başına çözmek için yeterli olmadığını ifade etti. Kameralar ve sensörler gibi cihazlara yapay zekayı entegre etmenin gelişmiş donanımdan daha fazlasını gerektirdiğini, bunu yönetmek için akıllı yazılımlara ihtiyaç duyulduğunu belirtti. Sony'nin AITRIOS platformu burada devreye giriyor ve uç cihazlarda yapay zekayı dağıtmayı daha basit ve verimli hale getirmek için tasarlanmış güvenilir bir yazılım çözümü sunuyor.

AITRIOS, karmaşık yapay zeka modelleri ile uç cihazların sınırlamaları arasında bir köprü görevi görür. Geliştiricilere, önceden eğitilmiş yapay zeka modellerini hızlı bir şekilde dağıtmak için bir dizi araç sağlar. Ancak daha da önemlisi, yapay zeka modellerinin gerçek dünyadaki değişikliklere uyum sağlayabilmesi için sürekli yeniden eğitime destek verir.

Wei ayrıca AITRIOS'un, derin yapay zeka uzmanlığı olmayanlar için süreci nasıl basitleştirdiğini, belirli uç yapay zeka kullanım durumları için yapay zeka modellerini özelleştirme esnekliği sunduğunu vurguladı. Ayrıca bellek kısıtlamaları ve performans düşüşleri gibi yaygın zorlukları ele alarak, doğruluktan veya hızdan ödün vermeden yapay zekayı daha küçük cihazlara entegre etmeyi kolaylaştırıyor.

Şekil 3. Uç yapay zeka kullanım örnekleri. Görsel kaynağı: SONY Semicon | AITRIOS.

Link to this sectionYOLO modellerini IMX500 üzerinde optimize etmek#

Konuşmanın ikinci bölümünde mikrofon, YOLO modellerini IMX500 sensörü üzerinde nasıl optimize ettiklerinin teknik detaylarına giren Amir'e geçti.

Amir söze, "YOLO modelleri uç cihazları destekler ve Glenn ve ekibi sayesinde optimize edilmeleri oldukça kolay. Sizi buna ikna edeceğim, merak etmeyin" diyerek başladı. Daha sonra, odak noktasının genellikle yapay zeka modelinin kendisini optimize etmek olduğuna, ancak bu yaklaşımın çoğu zaman kritik bir sorunu göz ardı ettiğine dikkat çekti: İşlem sonrası darboğazları.

Amir, birçok durumda yapay zeka modeli görevini tamamladıktan sonra, verileri aktarma ve ana cihazda işlem sonrası (post-processing) işlemlerini yürütme sürecinin önemli gecikmelere neden olabileceğine işaret etti. Cihaz ile ana bilgisayar arasındaki bu ileri-geri veri aktarımı, en iyi performansa ulaşmanın önünde büyük bir engel olabilecek gecikmelere yol açar.

Şekil 4. Amir Servi, YOLO Vision 2024 sahnesinde işlem sonrası darboğazlarını açıklıyor.

Bunu ele almak için Amir, sadece yapay zeka modeline odaklanmak yerine tüm uçtan uca sisteme bakmanın önemini vurguladı. IMX500 sensörü ile, her şeyi yavaşlatan temel darboğazın işlem sonrası işlemler olduğunu keşfettiler. Asıl kırılmanın, çip üzerindeki non-maximum suppression (NMS) özelliğinin kilidini açmak olduğunu paylaştı.

Bu, işlem sonrası işlemlerin doğrudan sensör üzerinde gerçekleşmesini sağladı ve büyük miktarda veriyi bir ana cihaza aktarma ihtiyacını ortadan kaldırdı. NMS'yi doğrudan IMX500 üzerinde çalıştırarak Sony, Amir'in "işlem sonrası cam tavanı" olarak adlandırdığı engeli aştı ve çok daha iyi performans ve gecikme süresi iyileştirmesi elde etti.

Şekil 5. İşlem sonrası darboğazını aşmak. Görsel kaynağı: SONY Semicon | AITRIOS

Daha sonra, bu yeniliğin YOLO modellerinin, özellikle YOLOv8 Nano'nun, uç cihazlarda daha verimli çalışmasına nasıl yardımcı olduğunu ve daha küçük, kaynak kısıtlı donanımlarda gerçek zamanlı yapay zeka işleme için yeni fırsatlar yarattığını inceleyeceğiz.

Link to this sectionYOLOv8 modelleri, Sony'nin IMX500'ü ile 4 kat hız artışı elde ediyor#

Konuşmayı yüksek bir notla bitiren Amir, NMS'yi uçta çalıştırarak YOLOv8 Nano modelinin performansını nasıl dört katına çıkarabildiklerini gösterdi. Bunu, IMX500 yapay zeka sensörüyle entegre edilmiş bir Raspberry Pi 5 üzerinde sergiledi. Amir, işlem sonrası işlemler ana cihazda yapıldığında ve IMX500 çipinde yapıldığında elde edilen performansı karşılaştırdı.

Sonuçlar, işlemler çip üzerinde yapıldığında saniye başına kare (FPS) hızında ve genel verimlilikte büyük bir iyileşme olduğunu açıkça gösterdi. Optimizasyon, nesne algılamayı daha hızlı ve daha akıcı hale getirdi; ayrıca Raspberry Pi gibi daha küçük, kaynak kısıtlı cihazlarda gerçek zamanlı yapay zeka işlemenin uygulanabilirliğini de kanıtladı.

Link to this sectionÖne çıkanlar#

Sony'nin IMX500 sensörü, AITRIOS platformu ve Ultralytics YOLO modelleri uç yapay zeka geliştirmeyi yeniden şekillendiriyor. Çip üzerindeki yapay zeka işleme, veri aktarımını ve gecikmeyi azaltırken gizliliği, güvenliği ve verimliliği artırıyor. Sadece yapay zeka modeline değil, tüm sisteme odaklanan bu yenilikler, uç yapay zekayı geliştiriciler ve derin yapay zeka uzmanlığı olmayanlar için daha erişilebilir hale getiriyor. Uç yapay zeka teknolojisi ilerlemeye devam ettikçe, çok çeşitli endüstrilerde ve uygulamalarda daha akıllı cihazlar, daha hızlı karar verme ve daha güçlü gizlilik korumaları sağlayacaktır.

Stay connected with our community to keep learning about AI! Check out our GitHub repository to discover how we can use AI to create innovative solutions in various industries like agriculture and manufacturing. 🚀