Sony IMX500 ve AITRIOS ile Uç Yapay Zekâsını Güçlendirmek

Edge AI, akıllı telefonlar, kameralar ve dronlar gibi cihazlarda yapay zekâ modellerinin (AI) doğrudan çalışmasını sağlar. En önemli avantajı, buluta bağlı kalmadan daha hızlı ve gerçek zamanlı karar almayı desteklemesidir. Nitekim araştırmalar, uç platformlarda AI kullanımının operasyonel verimliliği %40'a kadar artırabileceğini gösteriyor.

Özellikle bilgisayarlı görü alanındaki edge AI gelişmeleri, bunu AI meraklılarını ve uzmanlarını Vision AI alanındaki en son gelişmeleri keşfetmek üzere bir araya getiren Ultralytics'in yıllık hibrit etkinliği YOLO Vision 2024 (YV24) etkinliğinin ana konularından biri hâline getirdi. Etkinliğin öne çıkan bölümlerinden biri, Sony'nin yeni nesil AI donanımını ve yazılım çözümlerini tanıttığı açılış sunumuydu. IMX500 sensörü ve AITRIOS platformu tanıtıldı; Sony, bu yeniliklerin Ultralytics YOLO modelleri gibi Ultralytics YOLO11 ve Ultralytics YOLOv8 modellerinin uçta dağıtımını nasıl daha kolay ve verimli hâle getirdiğini gösterdi.

Oturumu, Sony'nin görüntüleme çözümlerine odaklanan İş Geliştirme Müdürü Wei Tang ile edge cihazlarda derin öğrenme modelleri dağıtma konusunda uzman Edge Deep Learning Ürün Müdürü Amir Servi yönetti.

Bu makalede Sony'nin YV24'teki sunumunu yeniden ele alacak ve IMX500 sensörü ile AITRIOS platformunun daha hızlı, gerçek zamanlı uç AI işleme için YOLO modellerinin kullanımını nasıl optimize ettiğini inceleyeceğiz. Haydi başlayalım!

Sony'nin vizyonu: AI'ı edge cihazlarda demokratikleştirmek#

Wei Tang, Sony'nin yıllar önce fotoğrafçılıkta yaptığı gibi edge AI'ı herkes için erişilebilir hâle getirme hedefinden bahsederek oturumu açtı. Sony'nin gelişmiş Vision AI'ı uç bilişim aracılığıyla daha fazla kişiye ulaştırmaya odaklandığını vurguladı. Bunun arkasındaki itici güçlerden biri, edge AI'ın çevre üzerinde yaratabileceği olumlu etkidir. Uç bilişim, verileri büyük veri merkezlerine göndermek yerine doğrudan cihazlarda işleyerek enerji kullanımını ve karbon emisyonlarını azaltmaya yardımcı olur. Bu, Sony'nin yalnızca daha iyi çalışan değil, aynı zamanda daha sürdürülebilir bir gelecek oluşturmaya katkı sağlayan teknolojiler geliştirme taahhüdüyle mükemmel biçimde örtüşen daha akıllı ve daha çevreci bir yaklaşımdır.

Wei, görüntüleme ve algılama teknolojileri konusunda uzmanlaşan Sony bölümü Sony Semiconductor Solutions'ın gelişmiş görüntü sensörleri oluşturduğunu açıklamaya devam etti. Bu sensörler çeşitli cihazlarda kullanılır ve görüntü yakalamak üzere ışığı elektronik sinyallere dönüştürür. Her yıl 1,2 milyardan fazla sensör sevkiyatı yapılması sayesinde bu sensörler dünyadaki cep telefonlarının neredeyse yarısında bulunuyor ve Sony'yi görüntüleme sektörünün önemli oyuncularından biri hâline getiriyor.

Şekil 1. Sony'nin görüntü sensörlerinden örnekler.

Sony, bu uzmanlığından yararlanarak sensörlerini görüntü yakalayan cihazlardan gerçek zamanlı olarak veri işleyebilen ve doğrudan cihazlar üzerinde AI destekli içgörüler üretebilen akıllı araçlara dönüştürüyor. Sony'nin bu dönüşümü desteklemek için kullandığı donanım ve yazılım çözümlerini ele almadan önce, bu yeniliklerin çözmeyi amaçladığı edge AI zorluklarını anlayalım.

Edge cihazlarda AI görüntü işlemeyle ilgili zorluklar#

Edge AI çözümleri geliştirmek, özellikle kameralar ve sensörler gibi cihazlarla çalışırken bazı önemli zorlukları beraberinde getirir. Bu cihazların birçoğunda güç ve işlem kapasitesi sınırlıdır; bu da gelişmiş AI modellerini çalıştırmayı verimli hâle getirmeyi zorlaştırır.

Diğer başlıca sınırlamalardan bazıları şunlardır:

• Yazılım karmaşıklığı: AI modellerini farklı donanım yapılandırmalarına sahip çeşitli edge cihazlarda çalışacak şekilde uyarlamak karmaşık olabilir ve ayarlamalar ile optimizasyonlar gerektirebilir.
• Son işleme darboğazları: Son işleme için cihazdan ana bilgisayara büyük miktarda veri aktarılırken genellikle gecikme yaşanır. Bu işlem çoğu zaman gerçek AI model çıkarımından daha fazla zaman alır.
• Veri patlaması: Çok sayıda IoT cihazı sürekli olarak veri ürettiği için yerel olarak işlenmesi gereken veri hacmi bunaltıcı olabilir ve edge cihazları daha da zorlayabilir.

Sony IMX500 akıllı görü sensörünü tanımak#

Sony IMX500 Akıllı Görü Sensörü, edge AI işlemede ezber bozan bir donanımdır. Çip üzerinde AI özelliklerine sahip dünyanın ilk akıllı görü sensörüdür. Bu sensör, veri işleme darboğazları, gizlilik endişeleri ve performans sınırlamaları dâhil olmak üzere edge AI'daki pek çok zorluğun üstesinden gelmeye yardımcı olur.

Diğer sensörler yalnızca görüntüleri ve kareleri aktarırken IMX500 bütün hikâyeyi anlatır. Verileri doğrudan sensör üzerinde işleyerek cihazların gerçek zamanlı içgörüler üretmesini sağlar. Wei Tang oturum sırasında şöyle dedi: "Gelişmiş görüntü sensörü teknolojimizden yararlanarak günlük yaşamı iyileştirebilecek yeni nesil uygulamaları güçlendirmeyi amaçlıyoruz." IMX500 bu hedefi gerçekleştirmek üzere tasarlanmıştır; verilerin işlenmek üzere buluta gönderilmesine gerek kalmadan, cihazların verileri doğrudan sensör üzerinde işleme biçimini dönüştürür.

Öne çıkan özelliklerinden bazıları şunlardır:

• Meta veri çıktısı: Tam görüntüler göndermek yerine meta veri çıktısı sağlar; veri boyutunu önemli ölçüde küçülterek bant genişliği kullanımını ve maliyetleri azaltır.
• Geliştirilmiş gizlilik: IMX500, verileri cihaz üzerinde işleyerek gizliliği artırır. Bu, özellikle insanlarla ilgili bilgisayarlı görü görevleri ve kişi sayma gibi hassas bilgilerin söz konusu olduğu durumlarda önemlidir.
• Gerçek zamanlı işleme: Sensörün verileri hızlı bir şekilde işleyebilmesi, otonom sistemler gibi edge AI uygulamalarını mümkün kılan hızlı ve gerçek zamanlı karar almayı destekler.

IMX500 yalnızca bir kamera sensörü değildir; cihazların çevrelerindeki dünyayı algılama ve dünyayla etkileşim kurma biçimini dönüştüren güçlü bir algılama aracıdır. Sony, AI'ı doğrudan sensöre entegre ederek edge AI'ı otomotiv, sağlık ve akıllı şehirler gibi sektörler için daha erişilebilir hâle getiriyor. Sonraki bölümlerde IMX500'ün nesne algılamayı ve edge cihazlarda veri işlemeyi nasıl geliştirdiğini daha ayrıntılı inceleyeceğiz.

Şekil 2. Wei Tang, YOLO Vision 2024'te Sony IMX500 Akıllı Görü Sensörü'nü tanıtırken sahnede.

Sony'nin AITRIOS platformu: Edge AI'ı basitleştirmek#

IMX500 sensörünü tanıttıktan sonra Wei Tang, donanımın önemli olduğunu ancak edge AI dağıtımı kapsamındaki tüm zorlukları tek başına çözmeye yetmediğini ifade etti. Kameralar ve sensörler gibi cihazlara AI entegre etmenin yalnızca gelişmiş donanımdan fazlasını gerektirdiğini; bu donanımı yönetmek için akıllı yazılıma da ihtiyaç olduğunu anlattı. Sony'nin AITRIOS platformu burada devreye girerek edge cihazlara AI dağıtımını daha basit ve verimli hâle getirmek üzere tasarlanmış güvenilir bir yazılım çözümü sunuyor.

AITRIOS, karmaşık AI modelleri ile edge cihazların sınırlamaları arasında köprü görevi görür. Geliştiricilere, önceden eğitilmiş AI modellerini hızlıca dağıtmak için çeşitli araçlar sunar. Daha da önemlisi, AI modellerinin gerçek dünyadaki değişikliklere uyum sağlayabilmesi için sürekli yeniden eğitimi destekler.

Wei ayrıca AITRIOS'un derin AI uzmanlığına sahip olmayan kişiler için süreci nasıl basitleştirdiğini ve belirli edge AI kullanım alanlarına yönelik AI modellerini özelleştirme esnekliği sunduğunu vurguladı. Platform; bellek kısıtlamaları ve performans düşüşleri gibi yaygın zorlukları da ele alarak doğruluk veya hızdan ödün vermeden AI'ı daha küçük cihazlara entegre etmeyi kolaylaştırıyor.

Şekil 3. Edge AI kullanım alanlarından örnekler. Görsel kaynağı: SONY Semicon | AITRIOS.

IMX500 üzerinde YOLO modellerini optimize etmek#

Sunumun ikinci bölümünde mikrofon Amir'e geçti ve Sony'nin IMX500 sensörü üzerindeki YOLO modellerini nasıl optimize ettiğinin teknik yönlerini ayrıntılı biçimde ele aldı.

Amir sözlerine şöyle başladı: “YOLO modelleri edge kullanımını mümkün kılıyor ve Glenn ile ekip sayesinde optimize edilmeleri oldukça kolay. Sizi buna ikna edeceğim, merak etmeyin." Amir ardından, genellikle AI modelinin kendisini optimize etmeye yoğunlaşıldığını, ancak bu yaklaşımın önemli bir sorunu, yani son işleme darboğazlarını, çoğu zaman gözden kaçırdığını açıkladı.

Amir, birçok durumda AI modeli görevini tamamladıktan sonra verilerin aktarılması ve bir ana cihazda son işlemenin gerçekleştirilmesinin önemli gecikmelere yol açabileceğini belirtti. Cihaz ile ana bilgisayar arasındaki bu karşılıklı veri aktarımı gecikmeye neden olur ve en iyi performansa ulaşmanın önünde büyük bir engel oluşturabilir.

Şekil 4. Amir Servi, YOLO Vision 2024'te son işleme darboğazlarını açıklarken sahnede.

Amir, bu sorunu çözmek için yalnızca AI modeline odaklanmak yerine uçtan uca sistemin tamamını ele almanın önemini vurguladı. IMX500 sensörüyle yaptıkları incelemelerde, her şeyi yavaşlatan ana darboğazın son işleme olduğunu keşfettiler. Gerçek atılımın, çip üzerinde maksimum olmayan bastırmayı (NMS) etkinleştirmek olduğunu belirtti.

Bu sayede son işleme doğrudan sensör üzerinde gerçekleştirilebildi ve büyük miktarda verinin ana cihaza aktarılması gereği ortadan kalktı. NMS'yi doğrudan IMX500 üzerinde çalıştıran Sony, Amir'in “son işleme cam tavanı” olarak adlandırdığı engeli aşarak çok daha iyi performans ve daha düşük gecikme elde etti.

Şekil 5. Son işleme darboğazının aşılması. Görsel kaynağı: SONY Semicon | AITRIOS

Sırada, bu yeniliğin YOLO modellerinin, özellikle Ultralytics YOLOv8 Nano'nun, edge cihazlarda daha verimli çalışmasına nasıl yardımcı olduğunu inceleyeceğiz. Bu gelişme, kaynakları kısıtlı daha küçük donanımlarda gerçek zamanlı AI işleme için yeni fırsatlar yaratıyor.

Ultralytics YOLOv8 modelleri Sony IMX500 ile 4 kat hız artışı elde ediyor#

Amir, sunumu etkileyici bir şekilde tamamlarken NMS'yi uçta çalıştırarak Ultralytics YOLOv8 Nano modelinin performansını dört katına çıkarmayı nasıl başardıklarını gösterdi. Bunu IMX500 AI sensörüyle entegre edilmiş bir Raspberry Pi 5 üzerinde sergiledi. Amir, son işlemenin bir ana cihazda gerçekleştirilmesi ile IMX500 çipinde gerçekleştirilmesi arasındaki performansı karşılaştırdı.

Sonuçlar, işleme çip üzerinde gerçekleştirildiğinde saniyedeki kare sayısında (FPS) ve genel verimlilikte büyük bir iyileşme olduğunu açıkça gösterdi. Optimizasyon, nesne algılamayı daha hızlı ve akıcı hâle getirirken Raspberry Pi gibi daha küçük ve kaynakları kısıtlı cihazlarda gerçek zamanlı AI işlemenin uygulanabilirliğini de ortaya koydu.

Önemli çıkarımlar#

Sony'nin IMX500 sensörü, AITRIOS platformu ve Ultralytics YOLO modelleri edge AI geliştirmeyi yeniden şekillendiriyor. Çip üzeri AI işleme, veri aktarımını ve gecikmeyi azaltırken gizliliği, güvenliği ve verimliliği artırıyor. Yalnızca AI modeline değil, sistemin tamamına odaklanan bu yenilikler edge AI'ı geliştiriciler ve derin AI uzmanlığına sahip olmayan kişiler için daha erişilebilir hâle getiriyor. Edge AI teknolojisi gelişmeye devam ettikçe çok çeşitli sektör ve uygulamalarda daha akıllı cihazlar, daha hızlı karar alma ve daha güçlü gizlilik korumaları sağlaması muhtemel.

AI hakkında öğrenmeye devam etmek için topluluğumuzla bağlantıda kal! AI'ı tarım ve üretim gibi çeşitli sektörlerde yenilikçi çözümler oluşturmak için nasıl kullanabileceğimizi keşfetmek üzere GitHub depomuza göz at. 🚀