Bilgisayarlı görü uygulamalarını Edge AI cihazlarında dağıtma

Bilgisayarlı görü ve yapay zekâdaki (AI) son gelişmeler sayesinde, bir zamanlar yalnızca bir araştırma alanı olan teknoloji artık çeşitli sektörlerde etkili uygulamalara yön veriyor. Otonom araçlardan tıbbi görüntüleme ve güvenliğe kadar bilgisayarlı görü sistemleri, büyük ölçekte gerçek sorunları çözüyor.

Bu uygulamaların çoğu görüntüleri ve videoları gerçek zamanlı olarak analiz etmeyi gerektiriyor ve gecikme, maliyetler ve gizlilik endişeleri nedeniyle bulut bilişime güvenmek her zaman pratik olmayabiliyor. Uç AI bu durumlarda harika bir çözüm sunuyor. Görü AI modellerini doğrudan uç cihazlarda çalıştıran işletmeler, verileri daha hızlı, daha uygun maliyetle ve daha güvenli bir şekilde işleyerek gerçek zamanlı AI teknolojisini daha erişilebilir hâle getirebiliyor.

Ultralytics tarafından düzenlenen yıllık hibrit etkinlik YOLO Vision 2024 (YV24) sırasında öne çıkan temalardan biri, dağıtımı daha kullanıcı dostu ve verimli hâle getirerek [görü AI](https://ultralytics-translation-1.invalid teknolojisini demokratikleştirmekti. NVIDIA'da Kıdemli Çözüm Mimarı olan Guy Dahan, uç bilişim cihazları, çıkarım sunucuları, optimizasyon çerçeveleri ve AI dağıtım SDK'ları dâhil olmak üzere NVIDIA'nın donanım ve yazılım çözümlerinin geliştiricilerin uçta AI'ı optimize etmesine nasıl yardımcı olduğunu anlattı.

Bu makalede Guy Dahan'ın YV24 açılış konuşmasından öne çıkan noktaları ve NVIDIA'nın en yeni yeniliklerinin görü AI dağıtımını nasıl daha hızlı ve ölçeklenebilir hâle getirdiğini inceleyeceğiz.

Uç AI nedir?#

Guy Dahan konuşmasına YV24'e sanal olarak katılmaktan duyduğu heyecanı ve Ultralytics Python paketi ile Ultralytics YOLO modellerine duyduğu ilgiyi ifade ederek başladı ve şöyle dedi: "Çıktığı günden beri Ultralytics kullanıyorum. Ultralytics'i gerçekten seviyorum; daha öncesinde YOLOv5 kullanıyordum ve bu paketin gerçek bir hayranıyım."

Ardından Uç AI kavramını tanıtarak bunun, verileri işlenmek üzere uzaktaki bulut sunucularına göndermek yerine AI hesaplamalarını kameralar, dronlar veya endüstriyel makineler gibi cihazlarda doğrudan çalıştırmayı içerdiğini açıkladı.

Görüntülerin veya videoların yüklenmesini, analiz edilmesini ve ardından sonuçlarla geri gönderilmesini beklemek yerine Uç AI, verilerin doğrudan cihazın kendisinde anında analiz edilmesini mümkün kılıyor. Bu sayede görü AI sistemleri daha hızlı ve verimli hâle geliyor ve internet bağlantısına daha az bağımlı oluyor. Uç AI; otonom araçlar, güvenlik kameraları ve akıllı fabrikalar gibi gerçek zamanlı karar alma uygulamaları için özellikle yararlı.

Uç AI'ın temel avantajları#

Guy Dahan, Uç AI'ı tanıttıktan sonra verimlilik, maliyet tasarrufu ve veri güvenliğine odaklanarak temel avantajlarını vurguladı. En büyük avantajlardan birinin düşük gecikme olduğunu açıkladı; AI modelleri verileri doğrudan cihazda işlediği için bilgileri buluta gönderip yanıt beklemek gerekmiyor.

Uç AI ayrıca maliyetleri azaltmaya ve hassas verileri korumaya yardımcı oluyor. Özellikle video akışları olmak üzere büyük miktarlarda veriyi buluta göndermek pahalı olabilir. Ancak verilerin yerel olarak işlenmesi bant genişliği ve depolama maliyetlerini azaltıyor.

Bir diğer önemli avantaj veri gizliliği; çünkü bilgiler harici bir sunucuya aktarılmak yerine cihazda kalıyor. Bu durum, verilerin yerel ve güvenli tutulmasının en önemli öncelik olduğu sağlık, finans ve güvenlik uygulamaları için özellikle önemli.

Şekil 1. Guy Dahan, YV24'te Uç AI'ın avantajlarını uzaktan sunarken.

Guy Dahan bu avantajlar üzerinden Uç AI'ın giderek daha fazla benimsendiğine değindi. NVIDIA'nın 2014'te Jetson'ı tanıtmasından bu yana kullanımın on kat arttığını belirtti. Bugün 1,2 milyondan fazla geliştirici Jetson cihazlarıyla çalışıyor.

NVIDIA Jetson'a genel bakış: bir uç AI cihazı#

Guy Dahan daha sonra düşük güç tüketimiyle yüksek performans sunmak üzere tasarlanmış bir AI uç bilişim cihazları ailesi olan NVIDIA Jetson cihazlarına odaklandı. Jetson cihazları robotik, tarım, sağlık ve endüstriyel otomasyon gibi sektörlerdeki bilgisayarlı görü uygulamaları için ideal. Guy Dahan sözlerine şöyle devam etti: "Jetson'lar özellikle AI için tasarlanmış Uç AI cihazlarıdır. Hatta başlangıçta çoğunlukla bilgisayarlı görü için tasarlandıklarını bile söyleyebilirim."

Jetson cihazları, her biri farklı ihtiyaçlara uygun üç seviyede sunuluyor:

• Giriş seviyesi: Bu cihazlar, 10 - 15 W güç tüketimiyle 20 - 40 Saniyede Trilyon İşlem (TOPS) AI performansı sunarak uç uygulamalar için uygun maliyetli bir seçenek oluşturuyor.
• Ana akım: Performans ve verimliliği dengeler; 20 - 40 W güç tüketimiyle 70 - 200 TOPS sunarak orta düzey AI iş yükleri için uygun hâle gelir.
• Yüksek performanslı: 60 - 75 W güç tüketimiyle 275 TOPS'a kadar performans sunar ve robotik ile otomasyon gibi zorlu AI uygulamaları için tasarlanmıştır.

Guy Dahan ayrıca bu yıl piyasaya çıkacak Jetson AGX Thor hakkında bilgi verdi ve bunun sekiz kat daha yüksek GPU (Grafik İşlem Birimi) performansı, iki kat bellek kapasitesi ve geliştirilmiş CPU (Merkezi İşlem Birimi) performansı sunacağını söyledi. Cihaz özellikle insansı robotik ve gelişmiş Uç AI uygulamaları için tasarlandı.

Bilgisayarlı görü modellerinin dağıtımıyla ilgili zorluklar#

Guy Dahan daha sonra Uç AI'ın yazılım tarafına geçerek güçlü donanımla bile modelleri verimli bir şekilde dağıtmanın zor olabileceğini açıkladı.

En büyük engellerden biri uyumluluk; çünkü AI geliştiricileri genellikle PyTorch ve TensorFlow gibi farklı AI çerçeveleri ile çalışıyor. Bu çerçeveler arasında geçiş yapmak zor olabilir ve her şeyin doğru çalıştığından emin olmak için geliştiricilerin ortamları yeniden oluşturması gerekebilir.

Ölçeklenebilirlik de önemli bir zorluk. AI modelleri önemli miktarda işlem gücü gerektiriyor ve Dahan'ın ifadesiyle, "Daha az işlem gücü isteyen hiçbir AI şirketi olmadı." AI uygulamalarını birden fazla cihaza yaymak hızla pahalı hâle gelebiliyor; bu nedenle optimizasyon büyük önem taşıyor.

Ayrıca AI işlem hatları karmaşık ve genellikle farklı veri türlerini, gerçek zamanlı işlemeyi ve sistem entegrasyonunu içeriyor. Geliştiriciler, modellerinin mevcut yazılım ekosistemleriyle sorunsuz bir şekilde etkileşime girmesini sağlamak için büyük çaba harcıyor. Bu zorlukların üstesinden gelmek, AI dağıtımlarını daha verimli ve ölçeklenebilir hâle getirmenin önemli bir parçası.

Şekil 2. Model dağıtımındaki zorluklar.

NVIDIA Triton Inference Server ile dağıtımı basitleştirme#

Guy Dahan daha sonra dikkatini NVIDIA'nın Triton Inference Server'ına çevirdi. Birçok şirketin ve girişimin AI geliştirmeye modellerini tamamen optimize etmeden başladığına dikkat çekti. Tüm AI işlem hattını sıfırdan yeniden tasarlamak kesintiye yol açabilir ve zaman alabilir; bu da verimli bir şekilde ölçeklendirmeyi zorlaştırır.

Triton, sistemin tamamen elden geçirilmesini gerektirmek yerine geliştiricilerin AI iş akışlarını kademeli olarak iyileştirip optimize etmesine ve mevcut kurulumlarını bozmadan daha verimli bileşenleri entegre etmesine olanak tanıyor. TensorFlow, PyTorch, ONNX ve TensorRT dâhil olmak üzere birden fazla AI çerçevesini destekleyen Triton, minimum ayarlamayla bulut ortamları, veri merkezleri ve uç cihazlar arasında sorunsuz dağıtım sağlıyor.

Şekil 3. NVIDIA Triton Inference Server'a genel bakış.

NVIDIA Triton Inference Server'ın temel avantajlarından bazıları şunlardır:

• Otomatik toplu işleme: Triton, birden fazla AI isteğini işlemeden önce bir araya getirerek gecikmeleri (latency) azaltır ve çıkarım hızını (bir AI modelinin sonuç üretmesi için gereken süreyi) artırır.
• Kubernetes entegrasyonu: Triton bulut yerelidir; yani Kubernetes ile (AI uygulamalarını birden fazla bilgisayar veya bulut sunucusu arasında yönetmeye ve ölçeklendirmeye yardımcı olan bir sistem) sorunsuz bir şekilde çalışır.
• Açık kaynaklı ve özelleştirilebilir: Geliştiriciler, çok çeşitli AI uygulamalarında esneklik sağlamak üzere Triton'u kendi özel ihtiyaçlarına uyacak şekilde değiştirebilir.

NVIDIA TensorRT ile AI performansını en üst düzeye çıkarma#

Daha da fazla hızlandırma aradığını varsayalım; NVIDIA TensorRT, AI modellerini optimize etmek için ilgi çekici bir seçenek. Guy Dahan, TensorRT'nin NVIDIA GPU'ları için geliştirilmiş yüksek performanslı bir derin öğrenme optimizasyon aracı olduğunu açıkladı. TensorFlow, PyTorch, ONNX ve MXNet modelleri TensorRT kullanılarak yüksek verimli, GPU'da çalıştırılabilir dosyalara dönüştürülebilir.

TensorRT'yi bu kadar güvenilir kılan, donanıma özgü optimizasyonlarıdır. Jetson cihazları için optimize edilen bir model, TensorRT performansı hedef donanıma göre ince ayarladığı için diğer GPU'larda aynı verimlilikle çalışmaz. İnce ayarlanmış bir bilgisayarlı görü modeli, optimize edilmemiş modellere kıyasla çıkarım hızını 36 kata kadar artırabilir.

Guy Dahan ayrıca Ultralytics'in TensorRT desteğine dikkat çekerek bunun AI modeli dağıtımını nasıl daha hızlı ve verimli hâle getirdiğini anlattı. Ultralytics YOLO modelleri doğrudan TensorRT biçimine aktarılabilir; böylece geliştiriciler herhangi bir değişiklik yapmadan modelleri NVIDIA GPU'ları için optimize edebilir.

DeepStream 7.0: akış analitiği araç seti#

Guy Dahan konuşmasını olumlu bir notla tamamlarken, NVIDIA GPU'larını kullanarak video, ses ve sensör verilerini gerçek zamanlı işlemek üzere tasarlanmış bir AI çerçevesi olan DeepStream 7.0'ı tanıttı. Yüksek hızlı bilgisayarlı görü uygulamalarını desteklemek üzere geliştirilen bu araç; otonom sistemler, güvenlik, endüstriyel otomasyon ve akıllı şehirlerde nesne algılama, izleme ve analitik özellikleri sunuyor. AI'ı doğrudan uç cihazlarda çalıştıran DeepStream, bulut bağımlılığını ortadan kaldırarak gecikmeyi azaltıyor ve verimliliği artırıyor.

Şekil 4. YV24'te Guy Dahan ile DeepStream 7.0'ı keşfetme.

Özellikle DeepStream, AI destekli video işlemeyi baştan sona gerçekleştirebilir. Video kod çözme ve ön işlemeden AI çıkarımına ve son işlemeye kadar uçtan uca iş akışlarını destekler.

DeepStream yakın zamanda AI dağıtımını daha erişilebilir ve ölçeklenebilir hâle getirmek için çeşitli güncellemeler sundu. Yeni araçlar geliştirmeyi basitleştiriyor, çok kameralı izlemeyi iyileştiriyor ve daha iyi performans için AI işlem hatlarını optimize ediyor.

Geliştiriciler artık Windows ortamları için genişletilmiş desteğe, birden fazla kaynaktan gelen verileri entegre etmek üzere geliştirilmiş sensör füzyonu özelliklerine ve dağıtımı hızlandıran önceden oluşturulmuş referans uygulamalara erişebiliyor. Bu iyileştirmeler DeepStream'i gerçek zamanlı AI uygulamaları için daha esnek ve verimli bir çözüm hâline getirerek geliştiricilerin akıllı video analitiğini kolayca ölçeklendirmesine yardımcı oluyor.

Önemli çıkarımlar#

Guy Dahan'ın YV24'teki açılış konuşmasında gösterildiği gibi Uç AI, bilgisayarlı görü uygulamalarını yeniden tanımlıyor. Donanım ve yazılımdaki gelişmeler sayesinde gerçek zamanlı işleme daha hızlı, daha verimli ve daha uygun maliyetli hâle geliyor.

Daha fazla sektör Uç AI'ı benimsedikçe parçalanma ve dağıtım karmaşıklığı gibi zorlukların ele alınması, potansiyelinin tamamını ortaya çıkarmanın anahtarı olacak. Bu yenilikleri benimsemek daha akıllı ve duyarlı AI uygulamalarının geliştirilmesini sağlayarak bilgisayarlı görünün geleceğini şekillendirecek.

Giderek büyüyen topluluğumuzun bir parçası ol! AI hakkında daha fazla bilgi edinmek için GitHub depomuzu keşfet ve görü AI projelerine başlamak için lisanslama seçeneklerimize göz at. Sağlıkta AI ve üretimde bilgisayarlı görü gibi yenilikleri mi merak ediyorsun? Daha fazla bilgi edinmek için çözüm sayfalarımızı ziyaret et!