Uç nokta AI cihazlarında bilgisayarla görme uygulamalarını dağıtmak

Bilgisayarlı görü ve yapay zeka (AI) alanındaki son gelişmeler sayesinde, bir zamanlar sadece bir araştırma alanı olan şey, artık çeşitli sektörlerde etkili uygulamalara öncülük ediyor. Otonom sürüşlü otomobillerden tıbbi görüntülemeye ve güvenliğe kadar, bilgisayarlı görü sistemleri gerçek sorunları ölçeklenebilir şekilde çözüyor. 

Bu uygulamaların çoğu, görüntüleri ve videoları gerçek zamanlı olarak analiz etmeyi içerir ve bulut bilişime güvenmek, gecikme, maliyetler ve gizlilik endişeleri nedeniyle her zaman pratik değildir. Uç AI bu durumlarda harika bir çözümdür. Vision AI modellerini doğrudan uç cihazlarda çalıştırarak, işletmeler verileri daha hızlı, daha uygun fiyatlı ve daha güvenli bir şekilde işleyebilir, bu da gerçek zamanlı AI'yı daha erişilebilir hale getirir.

Ultralytics'in ev sahipliği yaptığı yıllık hibrit etkinlik olan YOLO Vision 2024'te (YV24), merkezi temalardan biri, dağıtımı daha kullanıcı dostu ve verimli hale getirerek Görüntü İşleme Yapay Zekasını demokratikleştirmekti. NVIDIA'da Kıdemli Çözüm Mimarı olan Guy Dahan, NVIDIA'nın uç bilgi işlem cihazları, çıkarım sunucuları, optimizasyon çerçeveleri ve yapay zeka dağıtım SDK'ları dahil olmak üzere donanım ve yazılım çözümlerinin, geliştiricilerin yapay zekayı uçta optimize etmelerine nasıl yardımcı olduğunu tartıştı.

Bu makalede, Guy Dahan'ın YV24 açılış konuşmasından çıkarılacak temel noktaları ve NVIDIA'nın en son yeniliklerinin Görüntüleme Yapay Zeka dağıtımını nasıl daha hızlı ve ölçeklenebilir hale getirdiğini inceleyeceğiz.

Uç nokta yapay zekası (Edge AI) nedir?

Guy Dahan, YV24'e sanal olarak katılmaktan ve Ultralytics Python paketi ile Ultralytics YOLO modellerine olan ilgisini dile getirerek konuşmasına başladı ve şunları söyledi: "Ultralytics'i çıktığı günden beri kullanıyorum. Ultralytics'i gerçekten çok beğeniyorum - YOLOv5'i ondan önce bile kullanıyordum ve bu paketin gerçek bir meraklısıyım."

Ardından, Edge AI kavramını tanıtarak, yapay zeka hesaplamalarının verileri işlenmek üzere uzak bulut sunucularına göndermek yerine doğrudan kameralar, dronlar veya endüstriyel makineler gibi cihazlarda çalıştırılmasını içerdiğini açıkladı. 

Görüntülerin veya videoların yüklenmesini, analiz edilmesini ve ardından sonuçlarla birlikte geri gönderilmesini beklemek yerine, Edge AI, verilerin anında cihazın kendisinde analiz edilmesini mümkün kılar. Bu, Vision AI sistemlerini daha hızlı, daha verimli ve internet bağlantısına daha az bağımlı hale getirir. Edge AI, özellikle sürücüsüz arabalar, güvenlik kameraları ve akıllı fabrikalar gibi gerçek zamanlı karar verme uygulamaları için kullanışlıdır. 

Uç nokta yapay zekasının temel faydaları

Edge AI'yı tanıttıktan sonra Guy Dahan, verimlilik, maliyet tasarrufu ve veri güvenliğine odaklanarak ana avantajlarını vurguladı. En büyük faydalarından birinin düşük gecikme süresi olduğunu açıkladı - yapay zeka modelleri verileri doğrudan cihazda işlediğinden, bilgileri buluta göndermeye ve yanıt beklemeye gerek yoktur. 

Edge AI ayrıca maliyetleri düşürmeye ve hassas verileri korumaya yardımcı olur. Özellikle video akışları olmak üzere, büyük miktarda veriyi buluta göndermek maliyetli olabilir. Ancak, yerel olarak işlemek bant genişliği ve depolama maliyetlerini azaltır. 

Bir diğer önemli avantajı ise veri gizliliğidir, çünkü bilgiler harici bir sunucuya aktarılmak yerine cihazda kalır. Bu, özellikle verilerin yerel ve güvenli tutulmasının öncelikli olduğu sağlık, finans ve güvenlik uygulamaları için önemlidir.

‍

Bu faydalar üzerine inşa eden Guy Dahan, Edge AI'nın giderek daha fazla benimsenmesi hakkında yorum yaptı. NVIDIA'nın 2014'te Jetson'ı piyasaya sürmesinden bu yana kullanımın on kat arttığını belirtti. Bugün 1,2 milyondan fazla geliştirici Jetson cihazlarıyla çalışıyor. 

NVIDIA Jetson'a genel bakış: bir uç yapay zeka cihazı

Guy Dahan daha sonra düşük güç tüketimiyle yüksek performans sunmak üzere tasarlanmış bir yapay zeka uç bilgi işlem cihazları ailesi olan NVIDIA Jetson cihazlarına odaklandı. Jetson cihazları, robotik, tarım, sağlık ve endüstriyel otomasyon gibi sektörlerdeki bilgisayar görüşü uygulamaları için idealdir. Guy Dahan, "Jetson'lar özellikle yapay zeka için özel olarak tasarlanmış Edge AI cihazlarıdır. Hatta başlangıçta çoğunlukla bilgisayar görüşü için tasarlandıklarını bile ekleyebilirim," diye ekledi.

Jetson cihazları, her biri farklı ihtiyaçlara uygun üç kademede gelir:

• Giriş seviyesi: Bu cihazlar, saniyede 20 - 40 Trilyon İşlem (TOPS) AI performansı ve 10 - 15W güç tüketimi sağlayarak, uç nokta uygulamaları için uygun fiyatlı bir seçenek sunar.
  ‍
• Ana Akım: Orta seviye AI iş yükleri için uygun olan 20 - 40W güç tüketimiyle 70 - 200 TOPS sunarak performans ve verimliliği dengeler.
  ‍
• Yüksek performans: Robotik ve otomasyon gibi zorlu yapay zeka uygulamaları için tasarlanmış, 60 - 75W güç tüketimiyle 275 TOPS'a kadar performans sunar.

Ayrıca, Guy Dahan, bu yıl piyasaya sürülecek olan yaklaşmakta olan Jetson AGX Thor hakkında bilgi verdi ve bunun sekiz kat GPU (Grafik İşleme Birimi) performansı, iki kat bellek kapasitesi ve gelişmiş CPU (Merkezi İşleme Birimi) performansı sunacağını söyledi. Özellikle insansı robotik ve gelişmiş Edge AI uygulamaları için tasarlanmıştır.

Bilgisayarlı görü modellerini dağıtmayla ilgili zorluklar

Guy Dahan daha sonra Edge AI'nın yazılım tarafını tartışmaya geçti ve güçlü donanımla bile modelleri verimli bir şekilde dağıtmanın zorlayıcı olabileceğini açıkladı. 

En büyük engellerden biri uyumluluktur, çünkü yapay zeka geliştiricileri genellikle PyTorch ve TensorFlow gibi farklı yapay zeka çerçeveleriyle çalışır. Bu çerçeveler arasında geçiş yapmak zor olabilir ve geliştiricilerin her şeyin doğru çalıştığından emin olmak için ortamları yeniden oluşturmasını gerektirebilir.

Ölçeklenebilirlik bir diğer önemli zorluktur. AI modelleri önemli miktarda işlem gücü gerektirir ve Dahan'ın dediği gibi, "Daha az işlem istemeyen bir AI şirketi hiç olmadı." AI uygulamalarını birden fazla cihazda genişletmek hızla pahalı hale gelebilir ve bu da optimizasyonu gerekli kılar.

Ayrıca, AI işlem hatları karmaşıktır ve genellikle farklı veri türlerini, gerçek zamanlı işlemeyi ve sistem entegrasyonunu içerir. Geliştiriciler, modellerinin mevcut yazılım ekosistemleriyle sorunsuz bir şekilde etkileşime girmesini sağlamak için çok çaba harcıyor. Bu zorlukların üstesinden gelmek, AI dağıtımlarını daha verimli ve ölçeklenebilir hale getirmenin önemli bir parçasıdır.

‍

NVIDIA'nın Triton Inference Server'ı ile dağıtımı basitleştirme

Ardından, Guy Dahan dikkatini NVIDIA'nın Triton Inference Server'ına çevirdi. Birçok şirket ve startup'ın yapay zeka geliştirmeye modellerini tam olarak optimize etmeden başladığına dikkat çekti. Tüm bir yapay zeka hattını sıfırdan yeniden tasarlamak, yıkıcı ve zaman alıcı olabilir ve verimli bir şekilde ölçeklenmeyi zorlaştırır. 

Triton, eksiksiz bir sistem revizyonu gerektirmek yerine, geliştiricilerin mevcut kurulumlarını bozmadan daha verimli bileşenler entegre ederek yapay zeka iş akışlarını kademeli olarak iyileştirmelerine ve optimize etmelerine olanak tanır. TensorFlow, PyTorch, ONNX ve TensorRT dahil olmak üzere birden fazla yapay zeka çerçevesi için destekle Triton, bulut ortamlarında, veri merkezlerinde ve uç cihazlarda minimum ayarlamayla sorunsuz dağıtım sağlar.

‍

İşte NVIDIA'nın Triton Inference Server'ının temel avantajlarından bazıları:

• Otomatik toplu işleme: Triton, yapay zeka isteklerini işlemeden önce gruplandırarak gecikmeleri (latency) azaltır ve çıkarım hızını (bir yapay zeka modelinin sonuç üretme süresi) iyileştirir.
  ‍
• Kubernetes entegrasyonu: Triton, bulut yereldir, yani Kubernetes ile sorunsuz çalışır (AI uygulamalarını birden fazla bilgisayar veya bulut sunucusunda yönetmeye ve ölçeklendirmeye yardımcı olan bir sistem).
  ‍
• Açık kaynaklı ve özelleştirilebilir: Geliştiriciler, Triton'u kendi özel ihtiyaçlarına uyacak şekilde değiştirebilir ve bu da çok çeşitli yapay zeka uygulamaları için esneklik sağlar.

NVIDIA TensorRT kullanarak yapay zeka performansını en üst düzeye çıkarma

Daha da fazla hızlanma aradığınızı varsayalım; NVIDIA TensorRT, yapay zeka modellerinizi optimize etmek için ilginç bir seçenek olabilir. Guy Dahan, TensorRT'nin NVIDIA GPU'lar için oluşturulmuş yüksek performanslı bir derin öğrenme optimizasyon aracı olduğunu belirtiyor. TensorFlow, PyTorch, ONNX ve MXNet'ten elde edilen modeller, TensorRT kullanılarak yüksek verimli GPU'da çalıştırılabilir dosyalara dönüştürülebilir.

TensorRT'yi bu kadar güvenilir kılan şey, donanıma özgü optimizasyonlarıdır. Jetson cihazları için optimize edilmiş bir model, diğer GPU'larda aynı verimlilikte çalışmayacaktır, çünkü TensorRT performansı hedef donanıma göre ayarlar. İnce ayarlı bir bilgisayar görüşü modeli, optimize edilmemiş modellere kıyasla çıkarım hızında 36 kata kadar artış sağlayabilir.

Guy Dahan ayrıca Ultralytics'in TensorRT desteğine dikkat çekerek, bunun yapay zeka modeli dağıtımını nasıl daha hızlı ve daha verimli hale getirdiğinden bahsetti. Ultralytics YOLO modelleri doğrudan TensorRT formatına aktarılabilir ve geliştiricilerin herhangi bir değişiklik yapmasına gerek kalmadan NVIDIA GPU'lar için optimize etmelerini sağlar. 

DeepStream 7.0: bir akış analitiği araç seti

Guy Dahan, konuşmasını yüksek bir notla tamamlarken, NVIDIA GPU'larını kullanarak video, ses ve sensör verilerinin gerçek zamanlı işlenmesi için tasarlanmış bir yapay zeka çerçevesi olan DeepStream 7.0'ı tanıttı. Yüksek hızlı bilgisayarlı görü uygulamalarını desteklemek üzere oluşturulan bu çerçeve, otonom sistemler, güvenlik, endüstriyel otomasyon ve akıllı şehirler genelinde nesne algılama, izleme ve analiz sağlar. Yapay zekayı doğrudan uç cihazlarda çalıştırarak DeepStream, bulut bağımlılığını ortadan kaldırır, gecikmeyi azaltır ve verimliliği artırır.

‍

Özellikle, DeepStream, yapay zeka destekli video işlemeyi baştan sona ele alabilir. Video kod çözme ve ön işlemeden, yapay zeka çıkarımı ve son işlemeye kadar uçtan uca iş akışlarını destekler. 

DeepStream yakın zamanda yapay zeka dağıtımını geliştirmek, daha erişilebilir ve ölçeklenebilir hale getirmek için çeşitli güncellemeler yayınladı. Yeni araçlar geliştirmeyi basitleştiriyor, çoklu kamera takibini iyileştiriyor ve daha iyi performans için yapay zeka işlem hatlarını optimize ediyor. 

Geliştiriciler artık Windows ortamları için genişletilmiş desteğe, birden fazla kaynaktan veri entegre etmek için gelişmiş sensör füzyon özelliklerine ve dağıtımı hızlandırmak için önceden oluşturulmuş referans uygulamalarına erişebiliyor. Bu iyileştirmeler, DeepStream'i gerçek zamanlı yapay zeka uygulamaları için daha esnek ve verimli bir çözüm haline getirerek, geliştiricilerin akıllı video analizlerini kolaylıkla ölçeklendirmesine yardımcı oluyor.

Önemli çıkarımlar

Guy Dahan'ın YV24'teki açılış konuşmasında gösterildiği gibi, Uç Yapay Zeka bilgisayarlı görü uygulamalarını yeniden tanımlıyor. Donanım ve yazılımdaki gelişmelerle, gerçek zamanlı işleme daha hızlı, daha verimli ve uygun maliyetli hale geliyor.

Daha fazla endüstri Edge AI'yı benimsedikçe, parçalanma ve dağıtım karmaşıklığı gibi zorlukların ele alınması, tam potansiyelini ortaya çıkarmak için anahtar olacaktır. Bu yenilikleri benimsemek, daha akıllı, daha duyarlı AI uygulamalarını yönlendirecek ve bilgisayarlı görü'nün geleceğini şekillendirecektir.

Büyüyen topluluğumuzun bir parçası olun! Yapay zeka hakkında daha fazla bilgi edinmek için GitHub depomuzu keşfedin ve Vision AI projelerinize başlamak için lisanslama seçeneklerimize göz atın. Sağlık hizmetlerinde yapay zeka ve üretimde bilgisayarlı görü gibi yenilikleri mi merak ediyorsunuz? Daha fazla bilgi edinmek için çözüm sayfalarımızı ziyaret edin!