NVIDIA Jetson Orin Nano Super üzerinde Ultralytics YOLO11: hızlı ve verimli

17 Aralık 2024'te piyasaya sürülen NVIDIA Jetson Orin Nano Super Geliştirici Kiti, uç bilişim alanına gelişmiş yetenekler kazandırmak için tasarlanmış, kompakt ancak güçlü bir üretken yapay zeka süper bilgisayarıdır. Gerçek zamanlı işlemeyi kolaylaştırır ve bulut bilişim ihtiyacını ortadan kaldırır. NVIDIA Jetson Orin Nano Super, geliştiricilerin yerel ortamlarda verimli bir şekilde çalışan uygun maliyetli akıllı sistemler oluşturmasına olanak tanır.

When paired with Ultralytics YOLO models like Ultralytics YOLO11, the Jetson Orin Nano Super can handle a vast range of vision AI applications on the edge. In particular, YOLO11 is a computer vision model known for its speed and accuracy in tasks like object detection, object tracking, and instance segmentation.

Combining YOLO11’s abilities with the kit’s robust GPU (Graphics Processing Unit) and support for frameworks like PyTorch, ONNX, and NVIDIA TensorRT enables high-performance deployments. This combination provides developers with an efficient solution for creating AI applications, from object detection in robotics to real-time object tracking in smart spaces and retail systems.

In this article, we’ll look at the NVIDIA Jetson Orin Nano Super Developer Kit, how it works with Ultralytics YOLO11 for edge AI, its performance benchmarks, real-world applications, and how it can help developers build vision AI projects. Let’s get started!

Link to this sectionNVIDIA Jetson Orin Nano Super Geliştirici Kiti nedir?#

NVIDIA Jetson Orin Nano Super Geliştirici Kiti, küçük uç cihazlar için üretken yapay zekayı yeniden tanımlayan kompakt ama güçlü bir bilgisayardır. 67 TOPS'a (saniyede trilyonlarca işlem) varan yapay zeka performansı sunarak gelişmiş yapay zeka projeleri üzerinde çalışan geliştiriciler, öğrenciler ve hobi kullanıcıları için idealdir.

İşte temel özelliklerinden bazıları:

• GPU performansı: Cihaz, 1.024 CUDA çekirdeği ve 32 Tensor Çekirdeği içeren NVIDIA Ampere mimarili bir GPU üzerine kuruludur. CUDA çekirdekleri birçok görevi aynı anda işleyerek karmaşık hesaplamaları hızlandırırken, Tensor Çekirdekleri derin öğrenme gibi yapay zeka görevleri için özelleştirilmiştir.
• Güçlü CPU: Hız ve verimlilik arasında denge kurmak için tasarlanmış 6 çekirdekli Arm Cortex-A78AE işlemciye sahiptir. Cihaz, enerji kullanımını düşük tutarken birden fazla görevi sorunsuz bir şekilde işleyebilir. Bu, büyük güç kaynaklarına erişimi olmayan yerel ortamlarda çalışan sistemler için önemlidir.
• Verimli bellek: Kit, 8GB LPDDR5 (Düşük Güçlü Çift Veri Hızı 5) bellek ile birlikte gelir. LPDDR5, hız ve enerji verimliliği için optimize edilmiş bir RAM (Rastgele Erişimli Bellek) türüdür ve cihazın aşırı güç tüketmeden büyük veri kümelerini ve gerçek zamanlı işlemeyi yönetmesine olanak tanır.
• Connectivity options: It includes USB 3.2 ports for quick data transfers, a Gigabit Ethernet port for strong network connections, and camera interfaces for integrating sensors or cameras.
• Yapay zeka geliştirme araçları: Jetson Orin Nano Super, daha hızlı hesaplama için CUDA ve yapay zeka modellerini optimize etmek için TensorRT gibi araçlar sağlayan NVIDIA JetPack SDK ile çalışır. Bu araçlar, geliştiricilerin yapay zeka uygulamalarını hızlı ve verimli bir şekilde oluşturmasını ve dağıtmasını kolaylaştırır.

Link to this sectionPerformans karşılaştırmaları: Jetson Orin Nano Super ile Orin NX 16GB karşılaştırması#

NVIDIA'nın çalışmalarına aşinaysan, bu yeni sürümün mevcut NVIDIA Jetson Orin NX 16GB (süper mod olmadan) ile nasıl kıyaslandığını merak ediyor olabilirsin. Jetson Orin NX daha yüksek genel yetenekler sunsa da, Jetson Orin Nano Super Geliştirici Kiti maliyetin çok küçük bir kısmıyla etkileyici bir performans sağlar.

Şekil 2. NVIDIA Jetson Orin ekosistemine bir bakış.

İşte kısa bir özet:

• Yapay zeka performansı: Jetson Orin Nano Super, çoğu uç yapay zeka görevi için harika olan 67 TOPS'a kadar performans sağlarken, Jetson Orin NX daha zorlu uygulamalar için 100 TOPS'a kadar performans sunar.
• Bellek: Jetson Orin Nano Super, gerçek zamanlı görevler için yeterli olan 8GB LPDDR5 içerirken, Orin NX daha büyük iş yükleri için bunu 16GB'a ikiye katlar.
• Güç verimliliği: Jetson Orin Nano Super daha enerji verimlidir ve 7W ile 25W arasında yapılandırılabilir; Jetson Orin NX ise daha yüksek güç taleplerine sahiptir.
• GPU: Her ikisi de güçlü GPU performansı için 1.024 CUDA çekirdeği ve 32 Tensor Çekirdeği içeren NVIDIA Ampere mimarisini paylaşır.

Link to this sectionJetson Orin Nano Super ile YOLO11: Görsel yapay zekayı uç noktaya taşımak#

Jetson Orin Nano Super hakkında daha iyi bir anlayışa sahip olduğumuza göre, YOLO11'in görsel yapay zeka yeteneklerini uç noktaya taşımak için nasıl devreye girebileceğine bakalım. YOLO11 dahil olmak üzere Ultralytics YOLO modelleri; eğitim, tahmin ve dışa aktarma gibi çok yönlü modlarla gelir ve çeşitli yapay zeka iş akışlarına uyarlanabilir hale getirir.

Örneğin, eğitim modunda Ultralytics YOLO modelleri, benzersiz nesneleri algılama veya belirli ortamlar için optimize etme gibi özel uygulamalar için özelleştirilebilir ve özel veri kümeleri üzerinde eğitilebilir. Benzer şekilde, tahmin modu çıkarım için tasarlanmıştır ve gerçek zamanlı bilgisayarlı görü görevlerini mümkün kılar. Son olarak, dışa aktarma modu, modelleri dağıtım için optimize edilmiş biçimlere dönüştürmek amacıyla kullanılabilir.

Şekil 3. Ultralytics YOLO modelleri çeşitli özellikleri ve modları destekler.

Dışa aktarma modundaki YOLO11, diğerlerinin yanı sıra aşağıdakiler dahil olmak üzere bir dizi model dağıtım seçeneğini destekler:

• NVIDIA TensorRT: Bu biçim, NVIDIA GPU'lar için optimize edilmiştir ve Jetson Orin Nano Super üzerinde yüksek performanslı ve düşük gecikmeli çıkarım sunar.
• ONNX (Açık Sinir Ağı Değişimi): Çeşitli platformlarda uyumluluk sağlar, bu da onu farklı donanım ve yazılım ekosistemleri için çok yönlü hale getirir.
• TorchScript: Bu biçim, PyTorch tabanlı uygulamalar için idealdir ve PyTorch iş akışlarına sorunsuz entegrasyona yardımcı olur.
• TFLite (TensorFlow Lite): Hafif yapay zeka dağıtımları için tasarlanmış bir biçimdir, bu da onu mobil ve gömülü sistemler için mükemmel kılar.

Geliştiriciler, bu dağıtım biçimlerini kullanarak akıllı alanlar, robotik ve perakende otomasyonu gibi gerçek zamanlı uygulamalar için YOLO11'i çalıştırmak üzere Jetson Orin Nano Super'in donanımından tam olarak yararlanabilirler.

Link to this sectionNVIDIA Jetson Orin Nano Super üzerinde YOLO11 performans kıyaslaması#

Daha sonra, YOLO11'in NVIDIA Jetson Orin Nano Super üzerinde ne kadar hızlı çalışabileceğine dair daha iyi bir fikir edinmek için, PyTorch, ONNX ve TensorRT gibi GPU hızlandırmalı dışa aktarma biçimlerini kullanarak etkileyici performansını ve kıyaslamalarını inceleyelim. Bu testler, Jetson Orin Nano Super'in YOLO11 modelleriyle elde ettiği çıkarım sürelerinin mevcut Jetson Orin NX 16GB (süper mod olmadan) ile karşılaştırılabilir olduğunu ve bazen onu geçtiğini ortaya koymaktadır.

Şekil 4. NVIDIA Jetson Orin Nano Super üzerinde YOLO11 performans kıyaslaması.

Bunu daha da dikkat çekici kılan şey Jetson Orin Nano Super'in uygun fiyatlı olmasıdır. Jetson Orin NX 16GB'ın yarı fiyatından daha düşük bir fiyata böyle bir performans sunarak, yüksek performanslı YOLO11 uygulamaları oluşturan geliştiriciler için olağanüstü bir değer sağlar. Bu maliyet ve performans kombinasyonu, Jetson Orin Nano Super'i uç noktada gerçek zamanlı görsel yapay zeka görevleri için mükemmel bir seçim haline getirir.

Şekil 5. Jetson Orin NX 16GB üzerinde YOLO11 performans kıyaslaması.

Link to this sectionYOLO11 ve NVIDIA Jetson Orin Nano Super ile uygulamalı çalışmaya başla#

YOLO11'i Jetson Orin Nano Super üzerinde dağıtmaya başlamak konusunda heyecanlıysan, iyi haberlerimiz var: bu oldukça basit bir süreç. Cihazına NVIDIA JetPack SDK'yı yükledikten sonra, hızlı kurulum için önceden oluşturulmuş bir Docker görüntüsü kullanabilir veya gerekli paketleri manuel olarak yükleyebilirsin.

Daha hızlı ve daha sorunsuz bir entegrasyon arayanlar için güncellenmiş JetPack 6 Docker kapsayıcısı ideal çözümdür. Docker kapsayıcısı, belirli yazılımları çalıştırmak için gerekli tüm araçları ve bağımlılıkları içeren hafif, taşınabilir bir ortamdır.

JetPack 6.1 için optimize edilmiş Ultralytics kapsayıcısı; CUDA 12.6, TensorRT 10.3 ve PyTorch ile TorchVision gibi temel araçlarla önceden yüklenmiş olarak gelir ve tamamı Jetson'ın ARM64 mimarisine göre uyarlanmıştır. Geliştiriciler bu kapsayıcıyı kullanarak kurulum süresinden tasarruf edebilir ve YOLO11 ile görsel yapay zeka uygulamalarını oluşturmaya ve optimize etmeye odaklanabilirler.

Link to this sectionNVIDIA Jetson Orin Nano Super üzerinde YOLO11 uygulamaları#

Bir sonraki yapay zeka projeniz için ilham arıyorsanız, çevremizde uç tabanlı bilgisayarlı görü uygulamaları için büyük bir potansiyel var.

Günlük yaşamda uç yapay zekası, sistemlerin bulut işlemeye güvenmek zorunda kalmadan nesneleri gerçek zamanlı olarak algılamasını ve takip etmesini sağlayarak akıllı alanları yeniden tanımlıyor. İster hareketli bir şehirde trafiği izlemek ister halka açık alanlarda sıra dışı etkinlikleri belirlemek olsun, uç görsel yapay zekası güvenliği ve verimliliği artırıyor.

Perakendeciler de uç yapay zekasından ve bilgisayarlı görüden yararlanıyor. Otomatik envanter kontrollerinden hırsızlığı önlemeye kadar, YOLO11 gibi modeller işletmelerin gerçek zamanlı çözümleri doğrudan mağazalarda uygulamaya koymasını mümkün kılıyor.

Similarly, when it comes to AI in healthcare, edge-based monitoring ensures patient safety, detects anomalies, and maintains compliance - all without delays caused by cloud dependency. With tools like the Jetson Orin Nano Super and YOLO11, the future of vision AI is unfolding right at the edge, where it’s needed most.

Link to this sectionÖne çıkanlar#

Ultralytics YOLO modellerini YOLO11 gibi NVIDIA Jetson Orin Nano Super Geliştirici Kiti üzerinde dağıtmak, uç yapay zeka uygulamaları için güvenilir ve verimli bir çözüm sunar. Güçlü GPU performansı, PyTorch, ONNX ve TensorRT desteği ve etkileyici kıyaslamaları ile nesne algılama ve takip gibi gerçek zamanlı bilgisayarlı görü görevleri için oldukça uygundur.

Görsel yapay zeka ve donanım hızlandırma gibi çığır açan teknolojilerdeki yenilikler ve iş birlikleri, çalışma şeklimizi dönüştürüyor ve geliştiricilerin uç noktada ölçeklenebilir, yüksek performanslı çözümler oluşturmasını sağlıyor. Yapay zeka ilerledikçe, YOLO11 ve Jetson Orin Nano Super gibi araçlar, akıllı, gerçek zamanlı çözümleri hayata geçirmeyi her zamankinden daha kolay hale getiriyor.

Curious about AI? Visit our GitHub repository to explore our contributions and engage with our community. See how we’re using AI to make an impact in industries like agriculture and healthcare.