Bilgisayarlı görü uygulamalarını edge AI cihazlarında dağıtma

Computer vision ve yapay zeka (AI) alanındaki son gelişmeler sayesinde, bir zamanlar sadece bir araştırma alanı olan bu teknoloji artık birçok sektörde etkili uygulamalara öncülük ediyor. Otonom araçlardan tıbbi görüntüleme ve güvenliğe kadar bilgisayarlı görü sistemleri, gerçek dünyadaki problemleri ölçeklenebilir bir şekilde çözüyor.

Bu uygulamaların birçoğu görüntülerin ve videoların gerçek zamanlı olarak analiz edilmesini içerir ve gecikme, maliyetler ile gizlilik endişeleri nedeniyle bulut bilişime güvenmek her zaman pratik değildir. Edge AI bu gibi durumlarda harika bir çözümdür. Görüntü işleme yapay zeka modellerini doğrudan uç cihazlarda çalıştırarak işletmeler verileri daha hızlı, daha uygun maliyetli ve daha yüksek güvenlikle işleyebilir, bu da gerçek zamanlı yapay zekayı daha erişilebilir hale getirir.

Ultralytics tarafından düzenlenen yıllık hibrit etkinlik YOLO Vision 2024 (YV24) sırasında ana temalardan biri, dağıtımı daha kullanıcı dostu ve verimli hale getirerek vision AI demokratikleştirmekti. NVIDIA Kıdemli Çözüm Mimarı Guy Dahan, NVIDIA'nın uç bilişim cihazları, çıkarım sunucuları, optimizasyon çerçeveleri ve yapay zeka dağıtım SDK'ları dahil olmak üzere donanım ve yazılım çözümlerinin geliştiricilerin uçta yapay zekayı optimize etmesine nasıl yardımcı olduğunu ele aldı.

Bu makalede, Guy Dahan'ın YV24 konuşmasındaki önemli noktaları ve NVIDIA'nın en son yeniliklerinin vizyon yapay zekası dağıtımını nasıl daha hızlı ve daha ölçeklenebilir hale getirdiğini inceleyeceğiz.

Uç yapay zeka nedir?#

Guy Dahan, konuşmasına YV24'e sanal olarak katıldığı için duyduğu heyecanı ve Ultralytics Python paketine ile Ultralytics YOLO models olan ilgisini dile getirerek başladı ve şunları söyledi: "Ultralytics'i çıktığı günden beri kullanıyorum. Ultralytics'i gerçekten çok seviyorum - hatta daha öncesinde bile YOLOv5 kullanıyordum ve bu paketin gerçek bir hayranıyım."

Ardından, verileri işlenmek üzere uzak bulut sunucularına göndermek yerine, yapay zeka hesaplamalarını doğrudan kameralar, dronlar veya endüstriyel makineler gibi cihazlarda çalıştırmayı içeren Uç Yapay Zeka kavramını tanıttı.

Görüntülerin veya videoların yüklenmesini, analiz edilmesini ve ardından sonuçlarla geri gönderilmesini beklemek yerine, Uç Yapay Zeka verileri doğrudan cihazın üzerinde anında analiz etmeyi mümkün kılar. Bu, vizyon yapay zeka sistemlerini daha hızlı, daha verimli ve internet bağlantısına daha az bağımlı hale getirir. Uç Yapay Zeka, otonom araçlar, güvenlik kameraları ve akıllı fabrikalar gibi gerçek zamanlı karar verme uygulamaları için özellikle kullanışlıdır.

Uç yapay zekanın temel faydaları#

Uç Yapay Zekayı tanıttıktan sonra Guy Dahan, verimlilik, maliyet tasarrufu ve veri güvenliğine odaklanarak temel avantajlarını vurguladı. En büyük faydalardan birinin düşük gecikme süresi olduğunu açıkladı; çünkü yapay zeka modelleri verileri doğrudan cihaz üzerinde işlediğinden, bilgiyi buluta göndermeye ve bir yanıt beklemeye gerek kalmıyor.

Uç Yapay Zeka ayrıca maliyetleri düşürmeye ve hassas verileri korumaya yardımcı olur. Özellikle video akışları gibi büyük miktarda veriyi buluta göndermek pahalı olabilir. Ancak, yerel olarak işlemek bant genişliği ve depolama maliyetlerini azaltır.

Bir diğer önemli avantaj ise data privacy konusudur; çünkü bilgiler harici bir sunucuya aktarılmak yerine cihazda kalır. Bu durum, verileri yerel ve güvende tutmanın en büyük öncelik olduğu sağlık, finans ve güvenlik uygulamaları için özellikle önemlidir.

Şekil 1. Guy Dahan YV24'te uç yapay zekanın faydaları üzerine uzaktan sunum yaparken.

Bu faydaların üzerine inşa eden Guy Dahan, Uç Yapay Zekanın giderek artan benimsenmesi hakkında yorum yaptı. NVIDIA'nın 2014 yılında Jetson'ı piyasaya sürmesinden bu yana kullanımın on kat arttığını belirtti. Bugün 1,2 milyondan fazla geliştirici Jetson cihazlarıyla çalışıyor.

NVIDIA Jetson'a genel bakış: bir uç yapay zeka cihazı#

Guy Dahan daha sonra düşük güç tüketimiyle yüksek performans sunmak üzere tasarlanmış bir yapay zeka uç bilişim cihazları ailesi olan NVIDIA Jetson devices üzerine odaklandı. Jetson cihazları robotik, tarım, sağlık ve endüstriyel otomasyon gibi sektörlerdeki bilgisayarlı görü uygulamaları için idealdir. Guy Dahan ayrıca şunları ekledi: "Jetson'lar, özellikle yapay zeka için özel olarak üretilmiş Edge AI cihazlarıdır. Hatta aslen çoğunlukla bilgisayarlı görü için tasarlandıklarını da ekleyebilirim."

Jetson cihazları, her biri farklı ihtiyaçlara uygun üç farklı seviyede gelir:

• Giriş seviyesi: Bu cihazlar, 10 - 15W güç tüketimiyle 20 - 40 Trilyon İşlem/Saniye (TOPS) yapay zeka performansı sağlar ve uç uygulamalar için uygun maliyetli bir seçenek haline gelir.
• Ana akım: Performans ve verimliliği dengeler, orta seviye yapay zeka iş yükleri için uygun olan 20 - 40W güç tüketimiyle 70 - 200 TOPS sunar.
• Yüksek performans: Robotik ve otomasyon gibi zorlu yapay zeka uygulamaları için tasarlanmış, 60 - 75W güç tüketimiyle 275 TOPS'a kadar performans sunar.

Ayrıca Guy Dahan, bu yıl piyasaya çıkacak olan Jetson AGX Thor hakkında bilgi verdi ve sekiz kat daha fazla GPU (Grafik İşleme Birimi) performansı, iki kat daha fazla bellek kapasitesi ve iyileştirilmiş CPU (Merkezi İşlem Birimi) performansı sunacağını belirtti. Özellikle insansı robotik ve gelişmiş Uç Yapay Zeka uygulamaları için tasarlanmıştır.

Bilgisayarlı görü modellerini dağıtmayla ilgili zorluklar#

Guy Dahan daha sonra konuyu Uç Yapay Zekanın yazılım tarafına getirdi ve güçlü donanıma sahip olunsa bile modelleri verimli bir şekilde dağıtmanın zor olabileceğini açıkladı.

En büyük engellerden biri uyumluluktur; çünkü yapay zeka geliştiricileri genellikle PyTorch ve TensorFlow gibi farklı AI frameworks ile çalışır. Bu çerçeveler arasında geçiş yapmak zor olabilir ve geliştiricilerin her şeyin doğru çalıştığından emin olmak için ortamları yeniden oluşturmasını gerektirir.

Ölçeklenebilirlik bir diğer temel zorluktur. Yapay zeka modelleri ciddi bir hesaplama gücü gerektirir ve Dahan'ın ifade ettiği gibi, "Daha az işlem gücü isteyen bir yapay zeka şirketi hiç olmamıştır." Yapay zeka uygulamalarını birden fazla cihazda genişletmek hızla maliyetli hale gelebilir, bu da optimizasyonu şart kılar.

Ayrıca yapay zeka işlem hatları karmaşıktır; genellikle farklı veri türlerini, gerçek zamanlı işlemeyi ve sistem entegrasyonunu içerir. Geliştiriciler, modellerinin mevcut yazılım ekosistemleriyle sorunsuz bir şekilde etkileşime girmesini sağlamak için çok büyük çaba harcarlar. Bu zorlukların üstesinden gelmek, AI deployments daha verimli ve ölçeklenebilir hale getirmenin çok önemli bir parçasıdır.

Şekil 2. Model dağıtımındaki zorluklar.

NVIDIA Triton Inference Server ile dağıtımı basitleştirme#

Ardından Guy Dahan dikkatini NVIDIA'nın Triton Inference Server adlı çözümüne çevirdi. Birçok şirketin ve girişimin yapay zeka geliştirme sürecine modellerini tamamen optimize etmeden başladığına dikkat çekti. Tüm yapay zeka işlem hatlarını sıfırdan yeniden tasarlamak aksamalara yol açabilir ve zaman alabilir, bu da verimli bir şekilde ölçeklendirmeyi zorlaştırır.

Triton, komple bir sistem yenilemesi gerektirmek yerine, geliştiricilerin yapay zeka iş akışlarını kademeli olarak iyileştirmelerine ve optimize etmelerine olanak tanır; mevcut kurulumlarını bozmadan daha verimli bileşenleri entegre ederler. TensorFlow, PyTorch, ONNX ve TensorRT dahil olmak üzere birden fazla yapay zeka çerçevesi desteğiyle Triton, bulut ortamlarında, veri merkezlerinde ve uç cihazlarda minimum ayarlamayla sorunsuz dağıtım sağlar.

Şekil 3. NVIDIA'nın Triton Inference Server'ına genel bakış.

İşte NVIDIA'nın Triton Inference Server'ının temel avantajlarından bazıları:

• Otomatik yığınlama (batching): Triton, işlemeden önce birden fazla yapay zeka isteğini gruplandırır, gecikmeleri azaltır ve çıkarım hızını (bir yapay zeka modelinin sonuç üretmesi için geçen süre) iyileştirir.
• Kubernetes entegrasyonu: Triton bulut yerelidir (cloud-native), yani Kubernetes (yapay zeka uygulamalarını birden fazla bilgisayar veya bulut sunucusu genelinde yönetmeye ve ölçeklendirmeye yardımcı olan bir sistem) ile sorunsuz çalışır.
• Açık kaynak ve özelleştirilebilir: Geliştiriciler, Triton'u özel ihtiyaçlarına göre değiştirebilir, bu da geniş bir yapay zeka uygulama yelpazesi için esneklik sağlar.

NVIDIA TensorRT kullanarak yapay zeka performansını en üst düzeye çıkarma#

Daha da fazla hızlanma arayışında olduğunuzu varsayalım; NVIDIA TensorRT yapay zeka modellerinizi optimize etmek için ilginç bir seçenektir. Guy Dahan, TensorRT'nin NVIDIA GPU'lar için oluşturulmuş yüksek performanslı bir derin öğrenme optimizasyon aracı olduğunu ayrıntılı olarak açıkladı. TensorFlow, PyTorch, ONNX ve MXNet'ten gelen modeller TensorRT kullanılarak son derece verimli GPU tarafından yürütülebilir dosyalara dönüştürülebilir.

TensorRT'yi bu kadar güvenilir kılan şey, donanıma özel optimizasyonlarıdır. Jetson cihazları için optimize edilmiş bir model, diğer GPU'larda aynı verimlilikte performans göstermez çünkü TensorRT performansı hedef donanıma göre ince ayar yapar. İnce ayar yapılmış bir bilgisayarlı görü modeli, optimize edilmemiş modellere kıyasla çıkarım hızında 36 kata kadar artış sağlayabilir.

Guy Dahan ayrıca Ultralytics'in TensorRT desteğine dikkat çekerek bunun yapay zeka modeli dağıtımını nasıl daha hızlı ve verimli hale getirdiğinden bahsetti. Ultralytics YOLO modelleri doğrudan TensorRT formatına exported edilebilir, böylece geliştiricilerin herhangi bir değişiklik yapmasına gerek kalmadan bunları NVIDIA GPU'lar için optimize etmelerine olanak tanır.

DeepStream 7.0: bir akış analitiği araç takımı#

Konuşmayı harika bir notla kapatan Guy Dahan, NVIDIA GPU'ları kullanarak video, ses ve sensör verilerinin gerçek zamanlı işlenmesi için tasarlanmış bir yapay zeka çerçevesi olan DeepStream 7.0 tanıttı. Yüksek hızlı bilgisayarlı görü uygulamalarını desteklemek üzere oluşturulan bu çerçeve; otonom sistemler, güvenlik, endüstriyel otomasyon ve akıllı şehirler genelinde nesne algılama, takibi ve analitiği sağlar. Yapay zekayı doğrudan uç cihazlarda çalıştıran DeepStream, bulut bağımlılığını ortadan kaldırarak gecikmeyi azaltır ve verimliliği artırır.

Şekil 4. Guy Dahan ile YV24'te DeepStream 7.0'ı keşfetme.

Özellikle DeepStream, baştan sona yapay zeka destekli video işleme sürecini yönetebilir. Video kod çözme ve ön işlemeden yapay zeka çıkarımı ve son işlemeye kadar uçtan uca iş akışlarını destekler.

Yakın zamanda DeepStream, yapay zeka dağıtımını geliştirmek için birkaç güncelleme getirdi ve bunu daha erişilebilir ve ölçeklenebilir hale getirdi. Yeni araçlar geliştirmeyi kolaylaştırıyor, çoklu kamera takibini iyileştiriyor ve daha iyi performans için yapay zeka boru hatlarını optimize ediyor.

Geliştiriciler artık Windows ortamları için genişletilmiş desteğe, birden fazla kaynaktan veri entegre etmek için gelişmiş sensör füzyon özelliklerine ve dağıtımı hızlandırmak için önceden oluşturulmuş referans uygulamalarına erişime sahip. Bu iyileştirmeler, DeepStream'i gerçek zamanlı yapay zeka uygulamaları için daha esnek ve verimli bir çözüm haline getirerek geliştiricilerin akıllı video analitiğini kolaylıkla ölçeklendirmelerine yardımcı oluyor.

Öne çıkanlar#

Guy Dahan'ın YV24'teki açılış konuşmasında gösterildiği gibi, Uç Yapay Zeka bilgisayarlı görü uygulamalarını yeniden tanımlıyor. Donanım ve yazılımdaki gelişmelerle, gerçek zamanlı işleme daha hızlı, daha verimli ve uygun maliyetli hale geliyor.

Daha fazla endüstri Uç Yapay Zekayı benimsedikçe, parçalanma ve dağıtım karmaşıklığı gibi zorlukları ele almak, tam potansiyelini açığa çıkarmanın anahtarı olacaktır. Bu yenilikleri benimsemek, bilgisayarlı görünün geleceğini şekillendiren daha akıllı, daha duyarlı yapay zeka uygulamalarına güç verecektir.

Büyüyen topluluğumuzun bir parçası ol! Yapay zeka hakkında daha fazla bilgi edinmek için GitHub depomuzu keşfet ve vizyon yapay zeka projelerini başlatmak için lisanslama seçeneklerimize göz at. Sağlık sektöründe yapay zeka ve üretimde bilgisayarlı görü gibi yenilikleri merak mı ediyorsun? Daha fazla bilgi edinmek için çözüm sayfalarımızı ziyaret et!