Bilgisayarlı görü uygulamalarını edge AI cihazlarında dağıtma

Bilgisayarlı görü ve yapay zeka (AI) alanındaki son gelişmeler sayesinde, bir zamanlar sadece araştırma konusu olan bu alan artık birçok endüstride etkili uygulamalara güç veriyor. Otonom araçlardan tıbbi görüntülemeye ve güvenliğe kadar, bilgisayarlı görü sistemleri gerçek dünya problemlerini ölçeklenebilir bir şekilde çözüyor.

Bu uygulamaların birçoğu görüntü ve videoların gerçek zamanlı analizini içeriyor ve gecikme, maliyet ve gizlilik endişeleri nedeniyle bulut bilişime güvenmek her zaman pratik olmuyor. Uç Yapay Zeka bu durumlarda harika bir çözüm sunuyor. Vizyon yapay zeka modellerini doğrudan uç cihazlarda çalıştırarak işletmeler verileri daha hızlı, daha uygun maliyetli ve daha güvenli bir şekilde işleyebilir, böylece gerçek zamanlı yapay zekayı daha erişilebilir hale getirebilirler.

Ultralytics tarafından düzenlenen yıllık hibrit etkinlik YOLO Vision 2024 (YV24) sırasında ana temalardan biri, dağıtımı daha kullanıcı dostu ve verimli hale getirerek vizyon yapay zekasını demokratikleştirmekti. NVIDIA'da Kıdemli Çözüm Mimarı olan Guy Dahan, NVIDIA'nın uç bilişim cihazları, çıkarım sunucuları, optimizasyon çerçeveleri ve yapay zeka dağıtım SDK'ları dahil olmak üzere donanım ve yazılım çözümlerinin geliştiricilerin uçta yapay zekayı optimize etmelerine nasıl yardımcı olduğunu anlattı.

Bu makalede, Guy Dahan'ın YV24 konuşmasındaki önemli noktaları ve NVIDIA'nın en son yeniliklerinin vizyon yapay zekası dağıtımını nasıl daha hızlı ve daha ölçeklenebilir hale getirdiğini inceleyeceğiz.

Link to this sectionUç yapay zeka nedir?#

Guy Dahan konuşmasına YV24'e sanal olarak katılmaktan duyduğu heyecanı ve Ultralytics Python paketi ile Ultralytics YOLO modellerine olan ilgisini dile getirerek başladı ve şunları söyledi: "Ultralytics'i çıktığı günden beri kullanıyorum. Ultralytics'i gerçekten seviyorum; hatta ondan önce de YOLOv5 kullanıyordum ve bu paketin gerçek bir meraklısıyım."

Ardından, verileri işlenmek üzere uzak bulut sunucularına göndermek yerine, yapay zeka hesaplamalarını doğrudan kameralar, dronlar veya endüstriyel makineler gibi cihazlarda çalıştırmayı içeren Uç Yapay Zeka kavramını tanıttı.

Görüntülerin veya videoların yüklenmesini, analiz edilmesini ve ardından sonuçlarla geri gönderilmesini beklemek yerine, Uç Yapay Zeka verileri doğrudan cihazın üzerinde anında analiz etmeyi mümkün kılar. Bu, vizyon yapay zeka sistemlerini daha hızlı, daha verimli ve internet bağlantısına daha az bağımlı hale getirir. Uç Yapay Zeka, otonom araçlar, güvenlik kameraları ve akıllı fabrikalar gibi gerçek zamanlı karar verme uygulamaları için özellikle kullanışlıdır.

Link to this sectionUç yapay zekanın temel faydaları#

Uç Yapay Zekayı tanıttıktan sonra Guy Dahan, verimlilik, maliyet tasarrufu ve veri güvenliğine odaklanarak temel avantajlarını vurguladı. En büyük faydalardan birinin düşük gecikme süresi olduğunu açıkladı; çünkü yapay zeka modelleri verileri doğrudan cihaz üzerinde işlediğinden, bilgiyi buluta göndermeye ve bir yanıt beklemeye gerek kalmıyor.

Uç Yapay Zeka ayrıca maliyetleri düşürmeye ve hassas verileri korumaya yardımcı olur. Özellikle video akışları gibi büyük miktarda veriyi buluta göndermek pahalı olabilir. Ancak, yerel olarak işlemek bant genişliği ve depolama maliyetlerini azaltır.

Bir diğer önemli avantaj ise veri gizliliğidir çünkü bilgi harici bir sunucuya aktarılmak yerine cihazda kalır. Bu durum, verileri yerel ve güvenli tutmanın en büyük öncelik olduğu sağlık, finans ve güvenlik uygulamaları için özellikle önemlidir.

Şekil 1. Guy Dahan YV24'te uç yapay zekanın faydaları üzerine uzaktan sunum yaparken.

Bu faydaların üzerine inşa eden Guy Dahan, Uç Yapay Zekanın giderek artan benimsenmesi hakkında yorum yaptı. NVIDIA'nın 2014 yılında Jetson'ı piyasaya sürmesinden bu yana kullanımın on kat arttığını belirtti. Bugün 1,2 milyondan fazla geliştirici Jetson cihazlarıyla çalışıyor.

Link to this sectionNVIDIA Jetson'a genel bakış: bir uç yapay zeka cihazı#

Guy Dahan daha sonra düşük güç tüketimiyle yüksek performans sağlamak üzere tasarlanmış bir yapay zeka uç bilişim cihazı ailesi olan NVIDIA Jetson cihazlarına odaklandı. Jetson cihazları robotik, tarım, sağlık ve endüstriyel otomasyon gibi sektörlerdeki bilgisayarlı görü uygulamaları için idealdir. Guy Dahan, "Jetsonlar, özellikle yapay zeka için özel olarak üretilmiş Uç Yapay Zeka cihazlarıdır. Hatta başlangıçta çoğunlukla bilgisayarlı görü için tasarlandıklarını da ekleyebilirim," diye ekledi.

Jetson cihazları, her biri farklı ihtiyaçlara uygun üç farklı seviyede gelir:

• Giriş seviyesi: Bu cihazlar, 10 - 15W güç tüketimiyle 20 - 40 Trilyon İşlem/Saniye (TOPS) yapay zeka performansı sağlar ve uç uygulamalar için uygun maliyetli bir seçenek haline gelir.
• Ana akım: Performans ve verimliliği dengeler, orta seviye yapay zeka iş yükleri için uygun olan 20 - 40W güç tüketimiyle 70 - 200 TOPS sunar.
• Yüksek performans: Robotik ve otomasyon gibi zorlu yapay zeka uygulamaları için tasarlanmış, 60 - 75W güç tüketimiyle 275 TOPS'a kadar performans sunar.

Ayrıca Guy Dahan, bu yıl piyasaya çıkacak olan Jetson AGX Thor hakkında bilgi verdi ve sekiz kat daha fazla GPU (Grafik İşleme Birimi) performansı, iki kat daha fazla bellek kapasitesi ve iyileştirilmiş CPU (Merkezi İşlem Birimi) performansı sunacağını belirtti. Özellikle insansı robotik ve gelişmiş Uç Yapay Zeka uygulamaları için tasarlanmıştır.

Link to this sectionBilgisayarlı görü modellerini dağıtmayla ilgili zorluklar#

Guy Dahan daha sonra konuyu Uç Yapay Zekanın yazılım tarafına getirdi ve güçlü donanıma sahip olunsa bile modelleri verimli bir şekilde dağıtmanın zor olabileceğini açıkladı.

En büyük engellerden biri uyumluluktur; çünkü yapay zeka geliştiricileri genellikle PyTorch ve TensorFlow gibi farklı yapay zeka çerçeveleriyle çalışırlar. Bu çerçeveler arasında geçiş yapmak zor olabilir ve geliştiricilerin her şeyin doğru çalıştığından emin olmak için ortamları yeniden oluşturmalarını gerektirir.

Ölçeklenebilirlik bir diğer temel zorluktur. Yapay zeka modelleri ciddi bir hesaplama gücü gerektirir ve Dahan'ın ifade ettiği gibi, "Daha az işlem gücü isteyen bir yapay zeka şirketi hiç olmamıştır." Yapay zeka uygulamalarını birden fazla cihazda genişletmek hızla maliyetli hale gelebilir, bu da optimizasyonu şart kılar.

Ayrıca, yapay zeka boru hatları karmaşıktır; genellikle farklı veri türlerini, gerçek zamanlı işlemeyi ve sistem entegrasyonunu içerir. Geliştiriciler, modellerinin mevcut yazılım ekosistemleriyle sorunsuz bir şekilde etkileşime girdiğinden emin olmak için büyük çaba harcarlar. Bu zorlukların üstesinden gelmek, yapay zeka dağıtımlarını daha verimli ve ölçeklenebilir hale getirmenin kritik bir parçasıdır.

Şekil 2. Model dağıtımındaki zorluklar.

Link to this sectionNVIDIA Triton Inference Server ile dağıtımı basitleştirme#

Daha sonra Guy Dahan, NVIDIA'nın Triton Inference Server ürününe dikkat çekti. Birçok şirketin ve girişimin yapay zeka geliştirmeye modellerini tam olarak optimize etmeden başladığına işaret etti. Tüm yapay zeka boru hattını sıfırdan yeniden tasarlamak yıkıcı ve zaman alıcı olabilir, bu da verimli bir şekilde ölçeklenmeyi zorlaştırır.

Triton, komple bir sistem yenilemesi gerektirmek yerine, geliştiricilerin yapay zeka iş akışlarını kademeli olarak iyileştirmelerine ve optimize etmelerine olanak tanır; mevcut kurulumlarını bozmadan daha verimli bileşenleri entegre ederler. TensorFlow, PyTorch, ONNX ve TensorRT dahil olmak üzere birden fazla yapay zeka çerçevesi desteğiyle Triton, bulut ortamlarında, veri merkezlerinde ve uç cihazlarda minimum ayarlamayla sorunsuz dağıtım sağlar.

Şekil 3. NVIDIA'nın Triton Inference Server'ına genel bakış.

İşte NVIDIA'nın Triton Inference Server'ının temel avantajlarından bazıları:

• Otomatik yığınlama (batching): Triton, işlemeden önce birden fazla yapay zeka isteğini gruplandırır, gecikmeleri azaltır ve çıkarım hızını (bir yapay zeka modelinin sonuç üretmesi için geçen süre) iyileştirir.
• Kubernetes entegrasyonu: Triton bulut yerelidir (cloud-native), yani Kubernetes (yapay zeka uygulamalarını birden fazla bilgisayar veya bulut sunucusu genelinde yönetmeye ve ölçeklendirmeye yardımcı olan bir sistem) ile sorunsuz çalışır.
• Açık kaynak ve özelleştirilebilir: Geliştiriciler, Triton'u özel ihtiyaçlarına göre değiştirebilir, bu da geniş bir yapay zeka uygulama yelpazesi için esneklik sağlar.

Link to this sectionNVIDIA TensorRT kullanarak yapay zeka performansını en üst düzeye çıkarma#

Diyelim ki daha fazla hızlanma arıyorsun; NVIDIA TensorRT yapay zeka modellerini optimize etmek için ilginç bir seçenek. Guy Dahan, TensorRT'nin NVIDIA GPU'lar için oluşturulmuş yüksek performanslı bir derin öğrenme optimize edicisi olduğunu detaylandırdı. TensorFlow, PyTorch, ONNX ve MXNet'ten gelen modeller, TensorRT kullanılarak yüksek verimli GPU'da yürütülebilir dosyalara dönüştürülebilir.

TensorRT'yi bu kadar güvenilir kılan şey, donanıma özel optimizasyonlarıdır. Jetson cihazları için optimize edilmiş bir model, diğer GPU'larda aynı verimlilikte performans göstermez çünkü TensorRT performansı hedef donanıma göre ince ayar yapar. İnce ayar yapılmış bir bilgisayarlı görü modeli, optimize edilmemiş modellere kıyasla çıkarım hızında 36 kata kadar artış sağlayabilir.

Guy Dahan ayrıca Ultralytics'in TensorRT desteğine dikkat çekerek yapay zeka modeli dağıtımını nasıl daha hızlı ve verimli hale getirdiğinden bahsetti. Ultralytics YOLO modelleri doğrudan TensorRT formatına dışa aktarılabilir, bu da geliştiricilerin herhangi bir değişiklik yapmadan bunları NVIDIA GPU'lar için optimize etmelerine olanak tanır.

Link to this sectionDeepStream 7.0: bir akış analitiği araç takımı#

Konuşmayı yüksek bir notla bitiren Guy Dahan, NVIDIA GPU'larını kullanarak video, ses ve sensör verilerinin gerçek zamanlı işlenmesi için tasarlanmış bir yapay zeka çerçevesi olan DeepStream 7.0 ürününü tanıttı. Yüksek hızlı bilgisayarlı görü uygulamalarını desteklemek için oluşturulmuş olup otonom sistemler, güvenlik, endüstriyel otomasyon ve akıllı şehirler genelinde nesne algılama, izleme ve analitik imkanı sağlar. Yapay zekayı doğrudan uç cihazlarda çalıştırarak, DeepStream bulut bağımlılığını ortadan kaldırır, gecikmeyi azaltır ve verimliliği artırır.

Şekil 4. Guy Dahan ile YV24'te DeepStream 7.0'ı keşfetme.

Özellikle DeepStream, baştan sona yapay zeka destekli video işleme sürecini yönetebilir. Video kod çözme ve ön işlemeden yapay zeka çıkarımı ve son işlemeye kadar uçtan uca iş akışlarını destekler.

Yakın zamanda DeepStream, yapay zeka dağıtımını geliştirmek için birkaç güncelleme getirdi ve bunu daha erişilebilir ve ölçeklenebilir hale getirdi. Yeni araçlar geliştirmeyi kolaylaştırıyor, çoklu kamera takibini iyileştiriyor ve daha iyi performans için yapay zeka boru hatlarını optimize ediyor.

Geliştiriciler artık Windows ortamları için genişletilmiş desteğe, birden fazla kaynaktan veri entegre etmek için gelişmiş sensör füzyon özelliklerine ve dağıtımı hızlandırmak için önceden oluşturulmuş referans uygulamalarına erişime sahip. Bu iyileştirmeler, DeepStream'i gerçek zamanlı yapay zeka uygulamaları için daha esnek ve verimli bir çözüm haline getirerek geliştiricilerin akıllı video analitiğini kolaylıkla ölçeklendirmelerine yardımcı oluyor.

Link to this sectionÖne çıkanlar#

Guy Dahan'ın YV24'teki açılış konuşmasında gösterildiği gibi, Uç Yapay Zeka bilgisayarlı görü uygulamalarını yeniden tanımlıyor. Donanım ve yazılımdaki gelişmelerle, gerçek zamanlı işleme daha hızlı, daha verimli ve uygun maliyetli hale geliyor.

Daha fazla endüstri Uç Yapay Zekayı benimsedikçe, parçalanma ve dağıtım karmaşıklığı gibi zorlukları ele almak, tam potansiyelini açığa çıkarmanın anahtarı olacaktır. Bu yenilikleri benimsemek, bilgisayarlı görünün geleceğini şekillendiren daha akıllı, daha duyarlı yapay zeka uygulamalarına güç verecektir.

Büyüyen topluluğumuzun bir parçası ol! Yapay zeka hakkında daha fazla bilgi edinmek için GitHub depomuzu keşfet ve vizyon yapay zeka projelerini başlatmak için lisans seçeneklerimize göz at. Sağlıkta yapay zeka ve üretimde bilgisayarlı görü gibi yenilikleri mi merak ediyorsun? Daha fazla bilgi edinmek için çözüm sayfalarımızı ziyaret et!