"Tüm Çerezleri Kabul Et" seçeneğine tıklayarak, sitede gezinmeyi geliştirmek, site kullanımını analiz etmek ve pazarlama çabalarımıza yardımcı olmak için cihazınızda çerezlerin saklanmasını kabul edersiniz. Daha fazla bilgi
Çerez Ayarları
"Tüm Çerezleri Kabul Et" seçeneğine tıklayarak, sitede gezinmeyi geliştirmek, site kullanımını analiz etmek ve pazarlama çabalarımıza yardımcı olmak için cihazınızda çerezlerin saklanmasını kabul edersiniz. Daha fazla bilgi
Bilgisayarlı görü ve yapay zeka (AI) alanındaki son gelişmeler sayesinde, bir zamanlar sadece bir araştırma alanı olan şey, artık çeşitli sektörlerde etkili uygulamalara öncülük ediyor. Otonom sürüşlü otomobillerden tıbbi görüntülemeye ve güvenliğe kadar, bilgisayarlı görü sistemleri gerçek sorunları ölçeklenebilir şekilde çözüyor.
Bu uygulamaların çoğu, görüntüleri ve videoları gerçek zamanlı olarak analiz etmeyi içerir ve bulut bilişime güvenmek, gecikme, maliyetler ve gizlilik endişeleri nedeniyle her zaman pratik değildir. Uç AI bu durumlarda harika bir çözümdür. Vision AI modellerini doğrudan uç cihazlarda çalıştırarak, işletmeler verileri daha hızlı, daha uygun fiyatlı ve daha güvenli bir şekilde işleyebilir, bu da gerçek zamanlı AI'yı daha erişilebilir hale getirir.
Ultralytics tarafından düzenlenen yıllık hibrit etkinlik YOLO Vision 2024 (YV24) sırasında ana temalardan biri, dağıtımı daha kullanıcı dostu ve verimli hale getirerek Vision AI' yı demokratikleştirmekti. NVIDIA Kıdemli Çözüm Mimarı Guy Dahan, NVIDIA'nın uç bilişim cihazları, çıkarım sunucuları, optimizasyon çerçeveleri ve yapay zeka dağıtım SDK'ları dahil olmak üzere donanım ve yazılım çözümlerinin geliştiricilerin uçta yapay zekayı optimize etmelerine nasıl yardımcı olduğunu tartıştı.
Bu makalede Guy Dahan'ın YV24 açılış konuşmasından önemli çıkarımları ve NVIDIA'nın en son yeniliklerinin Vision AI dağıtımını nasıl daha hızlı ve ölçeklenebilir hale getirdiğini inceleyeceğiz.
Uç nokta yapay zekası (Edge AI) nedir?
Guy Dahan konuşmasına YV24'e sanal olarak katılmaktan duyduğu heyecanı ve Ultralytics Python paketi ile Ultralytics YOLO modellerine duyduğu ilgiyi dile getirerek başladı: " Ultralytics 'i çıktığı günden beri kullanıyorum. Ultralytics 'i gerçekten seviyorum - YOLOv5 'i ondan önce de kullanıyordum ve bu paketin gerçek bir tutkunuyum."
Ardından, Edge AI kavramını tanıtarak, yapay zeka hesaplamalarının verileri işlenmek üzere uzak bulut sunucularına göndermek yerine doğrudan kameralar, dronlar veya endüstriyel makineler gibi cihazlarda çalıştırılmasını içerdiğini açıkladı.
Görüntülerin veya videoların yüklenmesini, analiz edilmesini ve ardından sonuçlarla birlikte geri gönderilmesini beklemek yerine, Edge AI, verilerin anında cihazın kendisinde analiz edilmesini mümkün kılar. Bu, Vision AI sistemlerini daha hızlı, daha verimli ve internet bağlantısına daha az bağımlı hale getirir. Edge AI, özellikle sürücüsüz arabalar, güvenlik kameraları ve akıllı fabrikalar gibi gerçek zamanlı karar verme uygulamaları için kullanışlıdır.
Uç nokta yapay zekasının temel faydaları
Edge AI'yı tanıttıktan sonra Guy Dahan, verimlilik, maliyet tasarrufu ve veri güvenliğine odaklanarak ana avantajlarını vurguladı. En büyük faydalarından birinin düşük gecikme süresi olduğunu açıkladı - yapay zeka modelleri verileri doğrudan cihazda işlediğinden, bilgileri buluta göndermeye ve yanıt beklemeye gerek yoktur.
Edge AI ayrıca maliyetleri düşürmeye ve hassas verileri korumaya yardımcı olur. Özellikle video akışları olmak üzere, büyük miktarda veriyi buluta göndermek maliyetli olabilir. Ancak, yerel olarak işlemek bant genişliği ve depolama maliyetlerini azaltır.
Bir diğer önemli avantajı ise veri gizliliğidir, çünkü bilgiler harici bir sunucuya aktarılmak yerine cihazda kalır. Bu, özellikle verilerin yerel ve güvenli tutulmasının öncelikli olduğu sağlık, finans ve güvenlik uygulamaları için önemlidir.
Şekil 1. Guy Dahan, YV24'te uzaktan bağlantı ile edge AI'nın faydaları hakkında sunum yapıyor.
Guy Dahan, bu avantajlardan yola çıkarak Edge Yapay Zekanın giderek daha fazla benimsenmesi hakkında yorumda bulundu. NVIDIA 'nın 2014 yılında Jetson'u tanıtmasından bu yana kullanımın on kat arttığını belirtti. Bugün 1,2 milyondan fazla geliştirici Jetson cihazlarıyla çalışıyor.
NVIDIA Jetson'a genel bir bakış: uç yapay zeka cihazı
Guy Dahan daha sonra düşük güç tüketimiyle yüksek performans sunmak üzere tasarlanmış bir yapay zeka uç bilişim cihazları ailesi olan NVIDIA Jetson cihazlarına odaklandı. Jetson cihazları robotik, tarım, sağlık ve endüstriyel otomasyon gibi sektörlerdeki bilgisayarla görme uygulamaları için idealdir. "Jetsonlar, yapay zeka için özel olarak üretilmiş Edge AI cihazlarıdır. Hatta başlangıçta çoğunlukla bilgisayarla görme için tasarlandıklarını da ekleyebilirim," diye ekledi Guy Dahan.
Jetson cihazları, her biri farklı ihtiyaçlara uygun üç kademede gelir:
Giriş seviyesi: Bu cihazlar, saniyede 20 - 40 Trilyon İşlem (TOPS) AI performansı ve 10 - 15W güç tüketimi sağlayarak, uç nokta uygulamaları için uygun fiyatlı bir seçenek sunar.
Ana Akım: Orta seviye AI iş yükleri için uygun olan 20 - 40W güç tüketimiyle 70 - 200 TOPS sunarak performans ve verimliliği dengeler.
Yüksek performans: Robotik ve otomasyon gibi zorlu yapay zeka uygulamaları için tasarlanmış, 60 - 75W güç tüketimiyle 275 TOPS'a kadar performans sunar.
Ayrıca Guy Dahan, bu yıl piyasaya sürülecek olan Jetson AGX Thor hakkında bilgi verdi ve sekiz kat daha fazla GPU (Grafik İşlem Birimi) performansı, iki kat daha fazla bellek kapasitesi ve gelişmiş CPU (Merkezi İşlem Birimi) performansı sunacağını söyledi. Özellikle insansı robotik ve gelişmiş Edge AI uygulamaları için tasarlanmıştır.
Bilgisayarlı görü modellerini dağıtmayla ilgili zorluklar
Guy Dahan daha sonra Edge AI'nın yazılım tarafını tartışmaya geçti ve güçlü donanımla bile modelleri verimli bir şekilde dağıtmanın zorlayıcı olabileceğini açıkladı.
Yapay zeka geliştiricileri genellikle PyTorch ve TensorFlow gibi farklı yapay zeka çerçeveleriyle çalıştığından, en büyük engellerden biri uyumluluktur. Bu çerçeveler arasında geçiş yapmak zor olabilir ve geliştiricilerin her şeyin doğru çalıştığından emin olmak için ortamları yeniden oluşturmalarını gerektirir.
Ölçeklenebilirlik bir diğer önemli zorluktur. AI modelleri önemli miktarda işlem gücü gerektirir ve Dahan'ın dediği gibi, "Daha az işlem istemeyen bir AI şirketi hiç olmadı." AI uygulamalarını birden fazla cihazda genişletmek hızla pahalı hale gelebilir ve bu da optimizasyonu gerekli kılar.
Ayrıca, AI işlem hatları karmaşıktır ve genellikle farklı veri türlerini, gerçek zamanlı işlemeyi ve sistem entegrasyonunu içerir. Geliştiriciler, modellerinin mevcut yazılım ekosistemleriyle sorunsuz bir şekilde etkileşime girmesini sağlamak için çok çaba harcıyor. Bu zorlukların üstesinden gelmek, AI dağıtımlarını daha verimli ve ölçeklenebilir hale getirmenin önemli bir parçasıdır.
Şekil 2. Model dağıtımındaki zorluklar.
NVIDIA'nın Triton Çıkarım Sunucusu ile dağıtımı basitleştirme
Ardından Guy Dahan dikkatini NVIDIA'nın Triton Çıkarım Sunucusuna çevirdi. Birçok şirketin ve startup'ın modellerini tam olarak optimize etmeden yapay zeka geliştirmeye başladığına dikkat çekti. Tüm bir yapay zeka işlem hattını sıfırdan yeniden tasarlamak yıkıcı ve zaman alıcı olabilir, bu da verimli bir şekilde ölçeklendirmeyi zorlaştırır.
Triton , komple bir sistem revizyonu gerektirmek yerine, geliştiricilerin mevcut kurulumlarını bozmadan daha verimli bileşenleri entegre ederek yapay zeka iş akışlarını kademeli olarak iyileştirmelerine ve optimize etmelerine olanak tanır. TensorFlow, PyTorch, ONNX ve TensorRT dahil olmak üzere birden fazla yapay zeka çerçevesini destekleyen Triton , bulut ortamları, veri merkezleri ve uç cihazlar arasında minimum ayarlamalarla sorunsuz dağıtım sağlar.
Şekil 3. NVIDIA'nın Triton Çıkarım Sunucusuna genel bir bakış.
NVIDIA'nın Triton Çıkarım Sunucusunun bazı önemli avantajları şunlardır:
Otomatik gruplama: Triton , birden fazla yapay zeka talebini işlemeden önce bir araya getirerek gecikmeleri azaltır ve çıkarım hızını (bir yapay zeka modelinin sonuç üretmesi için geçen süre) artırır.
Kubernetes entegrasyonu: Triton bulut yerlisidir, yani Kubernetes (yapay zeka uygulamalarını birden fazla bilgisayar veya bulut sunucusunda yönetmeye ve ölçeklendirmeye yardımcı olan bir sistem) ile sorunsuz bir şekilde çalışır.
Açık kaynaklı ve özelleştirilebilir: Geliştiriciler Triton 'u kendi özel ihtiyaçlarına uyacak şekilde değiştirebilir ve çok çeşitli yapay zeka uygulamaları için esneklik sağlar.
NVIDIA TensorRT kullanarak yapay zeka performansını en üst düzeye çıkarma
Diyelim ki daha da fazla hızlandırma istiyorsunuz; NVIDIA TensorRT yapay zeka modellerinizi optimize etmek için ilginç bir seçenektir. Guy Dahan, TensorRT 'nin NVIDIA GPU'lar için geliştirilmiş yüksek performanslı bir derin öğrenme iyileştiricisi olduğunu belirtti. TensorFlow, PyTorch, ONNX ve MXNet modelleri, TensorRT kullanılarak yüksek verimli GPU tarafından GPU dosyalara GPU.
TensorRT 'yi bu kadar güvenilir yapan şey, donanıma özel optimizasyonlarıdır. Jetson cihazları için optimize edilmiş bir model, diğer GPU'larda o kadar verimli çalışmayacaktır çünkü TensorRT , hedef donanıma göre performansa ince ayar yapar. İnce ayarlı bir bilgisayarla görme modeli, optimize edilmemiş modellere kıyasla çıkarım hızında 36 kata kadar artış sağlayabilir.
Guy Dahan ayrıca Ultralytics'in TensorRT desteğine dikkat çekerek bunun yapay zeka modeli dağıtımını nasıl daha hızlı ve verimli hale getirdiğinden bahsetti. Ultralytics YOLO modelleri doğrudan TensorRT formatına aktarılabilir ve geliştiricilerin herhangi bir değişiklik yapmasına gerek kalmadan bunları NVIDIA GPU'ları için optimize etmesine olanak tanır.
DeepStream 7.0: bir akış analitiği araç seti
Guy Dahan, NVIDIA GPU'ları kullanarak video, ses ve sensör verilerinin gerçek zamanlı işlenmesi için tasarlanmış bir yapay zeka çerçevesi olan DeepStream 7.0 'ı tanıttı. Yüksek hızlı bilgisayarla görme uygulamalarını desteklemek üzere tasarlanan DeepStream 7.0, otonom sistemler, güvenlik, endüstriyel otomasyon ve akıllı şehirlerde nesne algılama, izleme ve analitiğe olanak tanıyor. Yapay zekayı doğrudan uç cihazlarda çalıştıran DeepStream, bulut bağımlılığını ortadan kaldırarak gecikme süresini azaltır ve verimliliği artırır.
Şekil 4. Guy Dahan ile YV24'te DeepStream 7.0'ı keşfetmek.
Özellikle, DeepStream, yapay zeka destekli video işlemeyi baştan sona ele alabilir. Video kod çözme ve ön işlemeden, yapay zeka çıkarımı ve son işlemeye kadar uçtan uca iş akışlarını destekler.
DeepStream yakın zamanda yapay zeka dağıtımını geliştirmek, daha erişilebilir ve ölçeklenebilir hale getirmek için çeşitli güncellemeler yayınladı. Yeni araçlar geliştirmeyi basitleştiriyor, çoklu kamera takibini iyileştiriyor ve daha iyi performans için yapay zeka işlem hatlarını optimize ediyor.
Geliştiriciler artık Windows ortamları için genişletilmiş desteğe, birden fazla kaynaktan veri entegre etmek için gelişmiş sensör füzyon özelliklerine ve dağıtımı hızlandırmak için önceden oluşturulmuş referans uygulamalarına erişebiliyor. Bu iyileştirmeler, DeepStream'i gerçek zamanlı yapay zeka uygulamaları için daha esnek ve verimli bir çözüm haline getirerek, geliştiricilerin akıllı video analizlerini kolaylıkla ölçeklendirmesine yardımcı oluyor.
Önemli çıkarımlar
Guy Dahan'ın YV24'teki açılış konuşmasında gösterildiği gibi, Uç Yapay Zeka bilgisayarlı görü uygulamalarını yeniden tanımlıyor. Donanım ve yazılımdaki gelişmelerle, gerçek zamanlı işleme daha hızlı, daha verimli ve uygun maliyetli hale geliyor.
Daha fazla endüstri Edge AI'yı benimsedikçe, parçalanma ve dağıtım karmaşıklığı gibi zorlukların ele alınması, tam potansiyelini ortaya çıkarmak için anahtar olacaktır. Bu yenilikleri benimsemek, daha akıllı, daha duyarlı AI uygulamalarını yönlendirecek ve bilgisayarlı görü'nün geleceğini şekillendirecektir.
