Bilgisayarlı görü uygulamalarını Edge AI cihazlarında dağıtma

Bilgisayarlı görü ve yapay zekâdaki (AI) son gelişmeler sayesinde, bir zamanlar yalnızca bir araştırma alanı olan bu teknoloji artık çeşitli sektörlerde etkili uygulamalara yön veriyor. Otonom araçlardan tıbbi görüntülemeye ve güvenliğe kadar bilgisayarlı görü sistemleri, gerçek sorunları geniş ölçekte çözüyor.

Bu uygulamaların çoğu görselleri ve videoları gerçek zamanlı olarak analiz etmeyi içerir; gecikme, maliyet ve gizlilik kaygıları nedeniyle bulut bilişime güvenmek her zaman pratik olmayabilir. Bu gibi durumlarda uç yapay zekâ harika bir çözümdür. Görsel yapay zekâ modellerini doğrudan uç cihazlarda çalıştırarak işletmeler verileri daha hızlı, daha uygun maliyetle ve daha güvenli biçimde işleyebilir; böylece gerçek zamanlı yapay zekâ daha erişilebilir hâle gelir.

Ultralytics'in ev sahipliği yaptığı yıllık hibrit etkinlik YOLO Vision 2024'te (YV24) öne çıkan temalardan biri, dağıtımı daha kullanıcı dostu ve verimli hâle getirerek görsel yapay zekâyı herkes için erişilebilir kılmaktı. NVIDIA'da Kıdemli Çözüm Mimarı olan Guy Dahan, uç bilişim cihazları, çıkarım sunucuları, optimizasyon çerçeveleri ve yapay zekâ dağıtım SDK'ları dâhil olmak üzere NVIDIA'nın donanım ve yazılım çözümlerinin geliştiricilerin uçta yapay zekâyı optimize etmesine nasıl yardımcı olduğunu anlattı.

Bu makalede Guy Dahan'ın YV24 açılış konuşmasından temel çıkarımları ve NVIDIA'nın en yeni yeniliklerinin görsel yapay zekâ dağıtımını nasıl daha hızlı ve ölçeklenebilir hâle getirdiğini inceleyeceğiz.

Uç yapay zekâ nedir?#

Guy Dahan konuşmasına, YV24'e uzaktan katılmaktan duyduğu heyecanı ve Ultralytics Python paketine ve Ultralytics YOLO modellerine duyduğu ilgiyi dile getirerek başladı: "Ultralytics'i çıktığı günden beri kullanıyorum. Ultralytics'i gerçekten seviyorum; daha öncesinde de YOLOv5 kullanıyordum ve bu paketin büyük bir hayranıyım."

Daha sonra, verileri işlenmek üzere uzaktaki bulut sunucularına göndermek yerine kameralar, dronlar veya endüstriyel makineler gibi cihazlarda doğrudan yapay zekâ hesaplamaları yapmayı içeren uç yapay zekâ kavramını tanıttı.

Uç yapay zekâ, görsel veya videoların yüklenmesini, analiz edilmesini ve sonuçlarla geri gönderilmesini beklemek yerine verilerin doğrudan cihazın kendisinde anında analiz edilmesini sağlar. Bu da görsel yapay zekâ sistemlerini daha hızlı, verimli ve internet bağlantısına daha az bağımlı hâle getirir. Uç yapay zekâ; otonom araçlar, güvenlik kameraları ve akıllı fabrikalar gibi gerçek zamanlı karar verme uygulamalarında özellikle yararlıdır.

Uç yapay zekânın temel avantajları#

Guy Dahan, uç yapay zekâyı tanıttıktan sonra verimlilik, maliyet tasarrufu ve veri güvenliğine odaklanarak başlıca avantajlarını vurguladı. En büyük avantajlarından birinin düşük gecikme olduğunu açıkladı; yapay zekâ modelleri verileri doğrudan cihazda işlediğinden buluta bilgi gönderip yanıt beklemeye gerek yoktur.

Uç yapay zekâ, maliyetleri düşürmeye ve hassas verileri korumaya da yardımcı olur. Büyük miktarda veriyi, özellikle video akışlarını, buluta göndermek pahalı olabilir. Ancak verileri yerel olarak işlemek bant genişliği ve depolama maliyetlerini azaltır.

Bir diğer önemli avantajı veri gizliliğidir; çünkü bilgiler harici bir sunucuya aktarılmak yerine cihazda kalır. Verilerin yerel ve güvenli tutulmasının öncelikli olduğu sağlık hizmetleri, finans ve güvenlik uygulamalarında bu özellikle önemlidir.

Şekil 1. Guy Dahan'ın YV24'te uç yapay zekânın avantajları hakkında uzaktan sunum yapması.

Guy Dahan, bu avantajlardan yola çıkarak uç yapay zekânın giderek yaygınlaşması hakkında yorum yaptı. NVIDIA'nın 2014'te Jetson'ı tanıtmasından bu yana kullanımın on kat arttığını belirtti. Bugün 1,2 milyondan fazla geliştirici Jetson cihazlarıyla çalışıyor.

NVIDIA Jetson'a genel bakış: uç yapay zekâ cihazı#

Guy Dahan daha sonra, düşük güç tüketimiyle yüksek performans sunmak üzere tasarlanmış uç bilişim yapay zekâ cihazlarından oluşan bir ürün ailesi olan NVIDIA Jetson cihazlarına odaklandı. Jetson cihazları; robotik, tarım, sağlık hizmetleri ve endüstriyel otomasyon gibi sektörlerdeki bilgisayarlı görü uygulamaları için idealdir. Guy Dahan şöyle ekledi: "Jetson cihazları, özellikle yapay zekâ için tasarlanmış uç yapay zekâ cihazlarıdır. Hatta başlangıçta çoğunlukla bilgisayarlı görü için tasarlandıklarını da söyleyebilirim."

Jetson cihazları, her biri farklı ihtiyaçlara uygun üç sınıfta sunulur:

• Giriş seviyesi: Bu cihazlar, 10 - 15 W güç tüketimiyle saniyede 20 - 40 trilyon işlem (TOPS) AI performansı sunarak uç uygulamalar için uygun fiyatlı bir seçenek oluşturur.
• Ana akım: Performans ve verimliliği dengeler; 20 - 40W güç tüketimiyle 70 - 200 TOPS sunarak orta ölçekli AI iş yüklerine uygun hale gelir.
• Yüksek performans: 60 - 75W güç tüketimiyle 275 TOPS'a kadar performans sunar ve robotik ile otomasyon gibi zorlu AI uygulamaları için tasarlanmıştır.

Ayrıca Guy Dahan, bu yıl piyasaya çıkacak Jetson AGX Thor hakkında bilgi verdi ve cihazın sekiz kat GPU (grafik işlem birimi) performansı, iki kat bellek kapasitesi ve geliştirilmiş CPU (merkezi işlem birimi) performansı sunacağını söyledi. Cihaz özellikle insansı robotik ve gelişmiş Edge AI uygulamaları için tasarlanmıştır.

Bilgisayarlı görü modellerini dağıtmayla ilgili zorluklar#

Guy Dahan daha sonra Edge AI'ın yazılım tarafına geçerek güçlü donanımlara rağmen modelleri verimli bir şekilde dağıtmanın zor olabileceğini açıkladı.

En büyük engellerden biri uyumluluktur; AI geliştiricileri genellikle PyTorch ve TensorFlow gibi farklı AI çerçeveleri ile çalışır. Bu çerçeveler arasında geçiş yapmak zor olabilir ve her şeyin doğru çalıştığından emin olmak için geliştiricilerin ortamları yeniden oluşturması gerekebilir.

Ölçeklenebilirlik de önemli bir başka zorluktur. AI modelleri önemli ölçüde işlem gücü gerektirir ve Dahan'ın da belirttiği gibi, "Daha az işlem gücü isteyen bir AI şirketi hiç olmadı." AI uygulamalarını birden fazla cihaza yaymak hızla pahalı hale gelebilir; bu nedenle optimizasyon büyük önem taşır.

Ayrıca AI işlem hatları karmaşıktır; çoğu zaman farklı veri türlerini, gerçek zamanlı işlemeyi ve sistem entegrasyonunu içerir. Geliştiriciler, modellerinin mevcut yazılım ekosistemleriyle sorunsuz çalışmasını sağlamak için büyük çaba harcar. Bu zorlukların üstesinden gelmek, AI dağıtımlarını daha verimli ve ölçeklenebilir hâle getirmenin önemli bir parçasıdır.

Şekil 2. Model dağıtımındaki zorluklar.

NVIDIA Triton Inference Server ile dağıtımı kolaylaştırma#

Ardından Guy Dahan, NVIDIA'nın Triton Inference Server çözümüne odaklandı. Birçok şirket ve girişimin AI geliştirmeye modellerini tam olarak optimize etmeden başladığına dikkat çekti. Baştan sona yeni bir AI işlem hattı tasarlamak iş akışını aksatabilir ve zaman alabilir; bu da verimli ölçeklendirmeyi zorlaştırır.

Triton, tüm sistemi baştan düzenlemeyi gerektirmek yerine geliştiricilerin mevcut kurulumlarını bozmadan daha verimli bileşenleri entegre ederek AI iş akışlarını aşamalı olarak iyileştirmesine ve optimize etmesine olanak tanır. TensorFlow, PyTorch, ONNX ve TensorRT dâhil olmak üzere birden fazla AI çerçevesini destekleyen Triton, küçük ayarlamalarla bulut ortamlarında, veri merkezlerinde ve uç cihazlarda dağıtım yapılmasını sağlar.

Şekil 3. NVIDIA Triton Inference Server'a genel bakış.

NVIDIA Triton Inference Server'ın başlıca avantajlarından bazıları şunlardır:

• Otomatik gruplama: Triton, işlemeden önce birden fazla AI isteğini gruplandırarak verimi ve GPU kullanımını artırır.
• Kubernetes entegrasyonu: Triton bulut yerelidir; yani AI uygulamalarının birden fazla bilgisayar veya bulut sunucusunda yönetilmesine ve ölçeklenmesine yardımcı olan Kubernetes ile entegre olur.
• Açık kaynaklı ve özelleştirilebilir: Geliştiriciler Triton'u kendi özel ihtiyaçlarına uyacak şekilde değiştirebilir ve böylece çok çeşitli AI uygulamalarında esneklik sağlayabilir.

NVIDIA TensorRT ile AI performansını en üst düzeye çıkarma#

Daha fazla hızlandırma aradığını varsayalım; NVIDIA TensorRT, AI modellerini optimize etmek için ilgi çekici bir seçenektir. Guy Dahan, TensorRT'nin NVIDIA GPU'ları için geliştirilmiş yüksek performanslı bir derin öğrenme iyileştiricisi olduğunu açıkladı. TensorFlow, PyTorch, ONNX ve MXNet modelleri, TensorRT kullanılarak GPU'da çalıştırılabilen yüksek verimli dosyalara dönüştürülebilir.

TensorRT'yi bu kadar güvenilir kılan, donanıma özel optimizasyonlarıdır. Jetson cihazları için optimize edilmiş bir model diğer GPU'larda aynı verimlilikle çalışmaz; çünkü TensorRT performansı hedef donanıma göre hassas biçimde ayarlar. NVIDIA'ya göre TensorRT, çıkarımı yalnızca CPU kullanan platformlara kıyasla 36 kata kadar hızlandırabilir.

Guy Dahan, Ultralytics'in TensorRT desteğine de dikkat çekerek bu desteğin AI modeli dağıtımını nasıl daha hızlı ve verimli hâle getirdiğinden söz etti. Ultralytics YOLO modelleri doğrudan TensorRT biçimine aktarılabilir; böylece geliştiriciler hiçbir değişiklik yapmadan modelleri NVIDIA GPU'ları için optimize edebilir.

DeepStream 7.0: akış analitiği araç seti#

Konuşmasını etkileyici bir şekilde sonlandıran Guy Dahan, NVIDIA GPU'larını kullanarak video, ses ve sensör verilerini gerçek zamanlı işlemek için tasarlanmış bir AI çerçevesi olan DeepStream 7.0'ı tanıttı. Yüksek hızlı bilgisayarlı görü uygulamalarını desteklemek üzere geliştirilen bu araç, otonom sistemler, güvenlik, endüstriyel otomasyon ve akıllı şehirlerde nesne algılama, izleme ve analitik olanağı sunar. AI'ı doğrudan uç cihazlarda çalıştıran DeepStream, buluta bağımlılığı ortadan kaldırarak gecikmeyi azaltır ve verimliliği artırır.

Şekil 4. YV24'te Guy Dahan ile DeepStream 7.0'ı keşfetme.

Özellikle DeepStream, AI destekli video işlemeyi baştan sona gerçekleştirebilir. Video kod çözme ve ön işlemeden AI çıkarımına ve son işlemeye kadar uçtan uca iş akışlarını destekler.

DeepStream kısa süre önce AI dağıtımını kolaylaştırmak, daha erişilebilir ve ölçeklenebilir hale getirmek için çeşitli güncellemeler sundu. Yeni araçlar geliştirme sürecini kolaylaştırır, çok kameralı izlemeyi iyileştirir ve daha iyi performans için AI işlem hatlarını optimize eder.

Geliştiriciler artık Windows ortamları için genişletilmiş destekten, birden fazla kaynaktan gelen verileri birleştirmeye yönelik gelişmiş sensör füzyonu özelliklerinden ve dağıtımı hızlandıran önceden hazırlanmış referans uygulamalarından yararlanabiliyor. Bu iyileştirmeler DeepStream'i gerçek zamanlı AI uygulamaları için daha esnek ve verimli bir çözüm haline getirerek geliştiricilerin akıllı video analitiğini kolayca ölçeklendirmesine yardımcı oluyor.

Önemli çıkarımlar#

Guy Dahan'ın YV24'teki açılış konuşmasında gösterildiği gibi Edge AI, bilgisayarlı görü uygulamalarını yeniden tanımlıyor. Donanım ve yazılım alanındaki gelişmelerle gerçek zamanlı işleme daha hızlı, verimli ve uygun maliyetli hale geliyor.

Daha fazla sektör Edge AI'ı benimsedikçe parçalanma ve dağıtım karmaşıklığı gibi zorlukların ele alınması, potansiyelinin tamamını ortaya çıkarmak için kilit önem taşıyacak. Bu yenilikleri benimsemek daha akıllı ve duyarlı AI uygulamalarının önünü açarak bilgisayarlı görünün geleceğini şekillendirecek.

Büyüyen topluluğumuzun bir parçası ol! AI hakkında daha fazla bilgi edinmek için GitHub depomuzu incele ve görsel AI projelerine başlamak için lisans seçeneklerimize göz at. Sağlık hizmetlerinde AI ve üretimde bilgisayarlı görü gibi yenilikleri merak ediyor musun? Daha fazla bilgi için çözümler sayfalarımızı ziyaret et!