Sony IMX500 ve AITRIOS ile Edge AI'yi güçlendirme

Uç yapay zekâ, yapay zekâ (AI) modellerinin akıllı telefonlar, kameralar ve dronlar gibi cihazlarda doğrudan çalışmasını sağlar. Başlıca avantajı, buluta bağlı kalmadan daha hızlı ve gerçek zamanlı karar almayı desteklemesidir. Nitekim araştırmalar, uç platformlarda yapay zekâ kullanımının operasyonel verimliliği %40'a kadar artırabileceğini gösteriyor.

Özellikle bilgisayarlı görü alanındaki son uç yapay zekâ gelişmeleri, yapay zekâ meraklılarını ve uzmanlarını Görsel Yapay Zekâ alanındaki yenilikleri keşfetmek üzere bir araya getiren Ultralytics'in yıllık hibrit etkinliği YOLO Vision 2024'ün (YV24) ana konularından biri oldu. Etkinliğin öne çıkan bölümlerinden biri, Sony'nin yeni yapay zekâ donanım ve yazılım çözümlerini tanıttığı açılış konuşmasıydı. IMX500 sensörü ve AITRIOS platformunun öne çıkarıldığı sunumda Sony, bu yeniliklerin Ultralytics YOLO11 ve Ultralytics YOLOv8 gibi Ultralytics YOLO modellerini uçta dağıtmayı nasıl daha kolay ve verimli hâle getirdiğini gösterdi.

Oturumu, Sony'nin görüntüleme çözümlerine odaklanan İş Geliştirme Müdürü Wei Tang ve uç cihazlarda derin öğrenme modelleri dağıtma konusunda uzman Uç Derin Öğrenme Ürün Müdürü Amir Servi yönetti.

Bu makalede, YV24'teki Sony sunumunu yeniden ele alacak ve IMX500 sensörü ile AITRIOS platformunun, uçta daha hızlı ve gerçek zamanlı yapay zekâ işlemesi için YOLO modellerinin kullanımını nasıl optimize ettiğini inceleyeceğiz.

Sony'nin vizyonu: Yapay zekâyı uç cihazlarda herkes için erişilebilir kılmak#

Wei Tang oturumu, Sony'nin uç yapay zekâyı yıllar önce fotoğrafçılığı herkes için erişilebilir hâle getirdiği gibi erişilebilir kılma hedefinden söz ederek açtı. Sony'nin uç bilişim aracılığıyla gelişmiş Görsel Yapay Zekâyı daha fazla kişiye ulaştırmaya odaklandığını vurguladı. Bu yaklaşımın itici güçlerinden biri, uç yapay zekânın çevre üzerindeki olumlu etkisidir. Uç bilişim, verileri devasa veri merkezlerine göndermek yerine doğrudan cihazlarda işleyerek enerji kullanımını azaltmaya ve karbon salımını düşürmeye yardımcı olur. Bu yaklaşım daha akıllı ve çevre dostudur; yalnızca daha iyi çalışan değil, daha sürdürülebilir bir gelecek oluşturmaya da yardımcı olan teknoloji geliştirme taahhüdüyle örtüşür.

Wei, görüntüleme ve algılama teknolojilerinde uzmanlaşan Sony bölümü Sony Semiconductor Solutions'ın gelişmiş görüntü sensörlerini nasıl ürettiğini anlatarak devam etti. Görüntüleri yakalamak için ışığı elektronik sinyallere dönüştüren bu sensörler çeşitli cihazlarda kullanılır. Her yıl 1,2 milyardan fazla sensör sevk ediliyor ve bu sensörler dünyadaki cep telefonlarının neredeyse yarısında yer alıyor; böylece Sony görüntüleme sektörünün önemli bir oyuncusu hâline geliyor.

Şekil 1. Sony görüntü sensörlerinden örnekler.

Sony, bu uzmanlığını temel alarak sensörleri görüntü yakalama aygıtlarından, verileri gerçek zamanlı işleyebilen ve yapay zekâ destekli içgörüleri doğrudan cihazlarda sunabilen akıllı araçlara dönüştürerek daha da ileri gidiyor. Sony'nin bu dönüşümü desteklemek için kullandığı donanım ve yazılım çözümlerini ele almadan önce, bu yeniliklerin çözmeyi amaçladığı uç yapay zekâ zorluklarını anlayalım.

Uç cihazlarda yapay zekâ ile görüntü işleme sorunları#

Uç yapay zekâ çözümleri geliştirmek, özellikle kamera ve sensör gibi cihazlarla çalışırken bazı önemli zorlukları beraberinde getirir. Bu cihazların çoğunun gücü ve işlem kapasitesi sınırlıdır; bu da gelişmiş yapay zekâ modellerini verimli biçimde çalıştırmayı zorlaştırır.

Başlıca diğer sınırlamalara yakından bakalım:

• Yazılım karmaşıklığı: Yapay zekâ modellerini farklı donanım yapılandırmalarına sahip çeşitli uç cihazlarda çalışacak şekilde uyarlamak karmaşık olabilir ve ayarlamalar ile optimizasyonlar gerektirebilir.
• Son işleme darboğazları: Son işleme için cihazdan ana bilgisayara büyük miktarda veri aktarılırken çoğu zaman gecikme yaşanır. Bu işlem, gerçek model çıkarımından daha fazla zaman alabilir.
• Veri patlaması: Sürekli veri üreten çok sayıda IoT cihazı nedeniyle yerel olarak işlenmesi gereken veri miktarı bunaltıcı olabilir ve uç cihazların üzerindeki yükü daha da artırabilir.

Sony IMX500 akıllı görüntü sensörünü tanıyalım#

Sony IMX500 Akıllı Görüntü Sensörü, uç yapay zekâ işlemesi için temel bir donanım bileşenidir. Sony, bunu çip üzerinde yapay zekâ yeteneklerine sahip dünyanın ilk akıllı görüntü sensörü olarak tanımlıyor. Bu sensör, veri işleme darboğazları, gizlilik endişeleri ve performans kısıtlamaları dâhil olmak üzere uç yapay zekâdaki pek çok zorluğun aşılmasına yardımcı olur.

Diğer sensörler yalnızca görüntü ve kareleri aktarırken IMX500, bütün bir hikâye anlatır. Verileri doğrudan sensör üzerinde işleyerek cihazların gerçek zamanlı içgörüler üretmesini sağlar. Oturum sırasında Wei Tang, "Gelişmiş görüntü sensörü teknolojimizden yararlanarak günlük yaşamı iyileştirebilecek yeni nesil uygulamaları güçlendirmeyi amaçlıyoruz." dedi. IMX500 bu hedef doğrultusunda tasarlanmıştır; verileri işlenmek üzere buluta göndermeye gerek bırakmadan cihazların verileri doğrudan sensörde işleme biçimini dönüştürür.

Öne çıkan özelliklerinden bazıları şunlardır:

• Meta veri çıktısı: Tam görüntüleri göndermek yerine meta veri çıktısı verir. Bu, veri boyutunu önemli ölçüde küçülterek bant genişliği kullanımını ve maliyetleri azaltır.
• Gelişmiş gizlilik: IMX500, verileri cihaz üzerinde işleyerek özellikle insanlarla ilgili kişi sayımı gibi bilgisayarlı görü görevlerinde hassas bilgilerin söz konusu olduğu durumlarda gizliliği artırır.
• Gerçek zamanlı işleme: Sensörün verileri hızlı işleme yeteneği, otonom sistemler gibi uç yapay zekâ uygulamalarını mümkün kılan hızlı ve gerçek zamanlı karar almayı destekler.

IMX500 yalnızca bir kamera sensörü değil, cihazların çevrelerindeki dünyayı algılama ve bu dünyayla etkileşim kurma biçimini dönüştüren güçlü bir algılama aracıdır. Sony, yapay zekâyı doğrudan sensöre entegre ederek uç yapay zekâyı otomotiv, sağlık hizmetleri ve akıllı şehirler gibi sektörler için daha erişilebilir kılıyor. Sonraki bölümlerde IMX500'ün Ultralytics YOLO modelleriyle birlikte çalışarak uç cihazlarda nesne algılamayı ve veri işlemeyi nasıl geliştirdiğini daha ayrıntılı ele alacağız.

Şekil 2. Wei Tang, YOLO Vision 2024 sahnesinde Sony IMX500 Akıllı Görüntü Sensörü'nü tanıtıyor.

Sony AITRIOS platformu: Uç yapay zekâyı kolaylaştırma#

IMX500 sensörünü tanıttıktan sonra Wei Tang, donanımın önemli olduğunu ancak uçta yapay zekâ dağıtımının tüm zorluklarını tek başına çözmeye yetmeyeceğini belirtti. Kamera ve sensör gibi cihazlara yapay zekâ entegre etmenin yalnızca gelişmiş donanım gerektirmediğini; bu donanımı yönetmek için akıllı yazılıma da ihtiyaç olduğunu anlattı. Sony'nin AITRIOS platformu burada devreye giriyor ve uç cihazlara yapay zekâ dağıtımını daha basit ve verimli hâle getirmek için tasarlanmış güvenilir bir yazılım çözümü sunuyor.

AITRIOS, karmaşık yapay zekâ modelleri ile uç cihazların kısıtlamaları arasında köprü görevi görür. Geliştiricilere, önceden eğitilmiş yapay zekâ modellerini hızla dağıtmak için çeşitli araçlar sunar. Daha da önemlisi, yapay zekâ modellerinin gerçek dünyadaki değişikliklere uyum sağlamaya devam edebilmesi için sürekli yeniden eğitimi destekler.

Wei ayrıca AITRIOS'un derin yapay zekâ uzmanlığı olmayan kişilere süreci nasıl kolaylaştırdığını ve belirli uç yapay zekâ kullanım senaryoları için modelleri özelleştirme esnekliği sunduğunu vurguladı. Platform, bellek kısıtlamaları ve performans düşüşleri gibi yaygın zorlukları da ele alarak doğruluktan veya hızdan ödün vermeden yapay zekâyı daha küçük cihazlara entegre etmeyi kolaylaştırıyor.

Şekil 3. Uç yapay zekâ kullanım alanlarından örnekler. Görsel kaynağı: SONY Semicon | AITRIOS.

IMX500 üzerinde YOLO modellerini optimize etme#

Konuşmanın ikinci bölümünde mikrofon Amir'e geçti; Amir, Sony'nin IMX500 sensöründe YOLO modellerini nasıl optimize ettiğinin teknik ayrıntılarına girdi.

Amir konuşmasına şöyle başladı: “YOLO modelleri uç cihazlarda kullanıma uygundur ve Glenn ile ekibinin sayesinde optimizasyonları oldukça kolaydır. Endişelenmeyin, sizi buna ikna edeceğim." Amir, odağın genellikle yapay zekâ modelinin kendisini optimize etmeye verildiğini, ancak bu yaklaşımın çoğu zaman kritik bir sorunu gözden kaçırdığını açıkladı: son işleme darboğazları.

Amir, birçok durumda yapay zekâ modeli görevini tamamladıktan sonra verileri aktarma ve ana cihazda son işleme yapma sürecinin önemli gecikmelere yol açabileceğine dikkat çekti. Cihaz ile ana cihaz arasındaki bu gidip gelen veri aktarımı gecikme yaratır ve en iyi performansa ulaşmanın önünde büyük bir engel olabilir.

Şekil 4. Amir Servi, YOLO Vision 2024 sahnesinde son işleme darboğazlarını açıklıyor.

Amir, bu sorunu çözmek için yalnızca yapay zekâ modeline odaklanmak yerine tüm uçtan uca sistemi değerlendirmenin önemini vurguladı. IMX500 sensörünü incelerken her şeyi yavaşlatan temel darboğazın son işleme olduğunu keşfettiler. Gerçek atılımın, çip üzerindeki maksimum olmayan bastırma (NMS) özelliğinin kilidini açmak olduğunu belirtti.

Bu sayede son işleme doğrudan sensör üzerinde gerçekleştirilebildi ve büyük miktarda verinin ana cihaza aktarılması gereği ortadan kalktı. Sony, NMS'yi doğrudan IMX500 üzerinde çalıştırarak Amir'in “son işleme cam tavanı” dediği engeli aştı ve çok daha iyi performans elde ederken gecikmeyi azalttı.

Şekil 5. Son işleme darboğazını aşma. Görsel kaynağı: SONY Semicon | AITRIOS

Şimdi bu yeniliğin YOLO modellerinin, özellikle de Ultralytics YOLOv8 Nano'nun, uç cihazlarda daha verimli çalışmasına nasıl yardımcı olduğuna bakacağız. Böylece kaynakları kısıtlı daha küçük donanımlarda gerçek zamanlı yapay zekâ işlemesi için yeni fırsatlar ortaya çıkıyor.

Ultralytics YOLOv8 modelleri, Sony IMX500 ile 4 kat hız artışı sağlıyor#

Amir, konuşmayı etkileyici bir şekilde tamamlarken uçta NMS çalıştırarak Ultralytics YOLOv8 Nano modelinin performansını dört katına çıkarmayı nasıl başardıklarını gösterdi. Bunu, IMX500 yapay zekâ sensörüyle entegre edilmiş bir Raspberry Pi 5 üzerinde sergiledi. Amir, son işlemenin ana cihazda yapıldığı durumla IMX500 çipinde yapıldığı durumun performansını karşılaştırdı.

Sonuçlar, işlem çip üzerinde yapıldığında saniyedeki kare sayısında (FPS) ve genel verimlilikte önemli bir artış olduğunu açıkça gösterdi. Optimizasyon, nesne algılamayı daha hızlı ve akıcı hâle getirdi; Raspberry Pi gibi kaynakları kısıtlı küçük cihazlarda gerçek zamanlı yapay zekâ işlemesinin uygulanabilir olduğunu da ortaya koydu.

Önemli çıkarımlar#

Ultralytics ve Sony arasındaki iş birliği sayesinde bir araya gelen Sony IMX500 sensörü, AITRIOS platformu ve Ultralytics YOLO modelleri, uç yapay zekâ geliştirme süreçlerini dönüştürüyor. Çip üzerinde yapay zekâ işleme, veri aktarımını ve gecikmeyi azaltırken gizliliği, güvenliği ve verimliliği artırıyor. Yalnızca yapay zekâ modeline değil, sistemin bütününe odaklanan bu yenilikler, uç yapay zekâyı geliştiriciler ve derin yapay zekâ uzmanlığı olmayan kişiler için daha erişilebilir kılıyor. Uç yapay zekâ teknolojisi gelişmeye devam ettikçe çok çeşitli sektör ve uygulamalarda daha akıllı cihazların, daha hızlı karar almanın ve daha güçlü gizlilik korumalarının önünü açması muhtemel.

Yapay zekâ hakkında öğrenmeye devam etmek için topluluğumuzla iletişimde kal! Yapay zekâyı tarım ve üretim gibi çeşitli sektörlerde yenilikçi çözümler üretmek için nasıl kullanabileceğimizi keşfetmek üzere GitHub depomuza göz at.