TensorRT

TensorRT, NVIDIA tarafından geliştirilen yüksek performanslı bir derin öğrenme çıkarım yazılım geliştirme kiti (SDK) ürünüdür. Sinir ağı modellerini dağıtım için optimize etmek amacıyla tasarlanmış olup derin öğrenme uygulamalarına düşük çıkarım gecikmesi ve yüksek verim sağlar. Bir optimizasyon derleyicisi görevi görerek PyTorch ve TensorFlow gibi popüler çerçevelerden eğitilmiş ağları alır ve bunları NVIDIA GPU donanımlarında verimli bir şekilde yürütmek üzere yeniden yapılandırır. Bu yetenek, hız ve verimliliğin çok önemli olduğu üretim ortamlarında karmaşık yapay zeka modellerini çalıştırmak için kritik öneme sahiptir.

TensorRT Modelleri Nasıl Optimize Eder#

TensorRT'nin temel işlevi, eğitilmiş bir sinir ağını hedef donanım için özel olarak ayarlanmış optimize edilmiş bir "motor"a dönüştürmektir. Bunu birkaç gelişmiş teknikle başarır:

• Katman Birleştirme: Optimizatör, bir sinir ağının birden fazla katmanını tek bir çekirdekte birleştirerek bellek erişim yükünü azaltır ve yürütme hızını artırır.
• Hassasiyet Kalibrasyonu: TensorRT, karmaşık hassasiyet (FP16) ve tamsayı niceleme (INT8) gibi azaltılmış hassasiyet modlarını destekler. Sayıları temsil etmek için kullanılan bit sayısını genellikle minimum doğruluk kaybıyla azaltarak geliştiriciler matematik işlemlerini önemli ölçüde hızlandırabilir ve bellek kullanımını düşürebilir. Bu, bir model niceleme biçimidir.
• Çekirdek Otomatik Ayarlaması: Yazılım, kullanılan belirli GPU mimarisi için en iyi veri katmanlarını ve algoritmaları otomatik olarak seçerek CUDA aracılığıyla donanımın paralel işleme yeteneklerinin maksimum düzeyde kullanılmasını sağlar.

Gerçek Dünya Uygulamaları#

Minimum gecikmeyle devasa miktarda veriyi işleme yeteneği sayesinde TensorRT, bilgisayarlı görü ve zamanlamanın kritik olduğu karmaşık yapay zeka görevlerine güvenen endüstrilerde yaygın olarak benimsenmiştir.

1. Otonom Sistemler: Otomotiv sektöründe yapay zeka alanında, sürücüsüz araçlar yayaları, tabelaları ve engelleri anında tespit etmek için birden fazla kameradan gelen video akışlarını işlemek zorundadır. TensorRT kullanarak nesne tespiti ağları gibi algı modelleri kareleri milisaniyeler içinde analiz edebilir, böylece aracın kontrol sisteminin gecikme olmadan güvenlikle ilgili kararlar almasını sağlar.

2. Endüstriyel Otomasyon: Modern fabrikalar, otomatik optik denetim için üretimde yapay zekadan yararlanır. Yüksek hızlı kameralar montaj hatlarındaki ürünlerin görüntülerini yakalar ve TensorRT ile optimize edilmiş modeller kusurları veya anormallikleri gerçek zamanlı olarak belirler. Bu, kalite kontrolünün yüksek hızlı üretim ayak uydurmasını sağlar ve genellikle doğrudan fabrika zemininde NVIDIA Jetson platformu gibi uç yapay zeka cihazlarına dağıtılır.

Ultralytics YOLO ile TensorRT Kullanımı#

TensorRT'yi iş akışına entegre etmek modern yapay zeka araçlarıyla oldukça basittir. ultralytics paketi, standart PyTorch modellerini TensorRT motorlarına dönüştürmek için kesintisiz bir yöntem sunar. Bu, kullanıcıların Ultralytics YOLO26 en son teknoloji mimarisini NVIDIA GPU'larının donanım hızlandırmasıyla birlikte kullanmasına olanak tanır. Dışa aktarmadan önce veri kümelerini ve eğitim boru hatlarını yönetmek isteyen ekipler için Ultralytics Platform bu tür yüksek performanslı dağıtımlar için modelleri hazırlamak üzere kapsamlı bir ortam sunar.

Aşağıdaki örnek, bir Ultralytics YOLO26 modelini TensorRT motor dosyasına (.engine) nasıl dışarı aktaracağınızı ve bunu gerçek zamanlı çıkarım için nasıl kullanacağınızı göstermektedir:

from ultralytics import YOLO

# Load the latest stable YOLO26 model (nano size)
model = YOLO("yolo26n.pt")

# Export the model to TensorRT format (creates 'yolo26n.engine')
# This step optimizes the computational graph for your specific GPU
model.export(format="engine")

# Load the optimized TensorRT engine for high-speed inference
trt_model = YOLO("yolo26n.engine")

# Run inference on an image source
results = trt_model("https://ultralytics.com/images/bus.jpg")

TensorRT vs. ONNX vs. Eğitim Çerçeveleri#

TensorRT'yi model dağıtımı ortamında sıklıkla duyulan diğer terimlerden ayırmak önemlidir:

• PyTorch/TensorFlow ile Karşılaştırma: PyTorch gibi çerçeveler öncelikle model eğitimi ve araştırma için tasarlanmıştır; esneklik ve hata ayıklama kolaylığı sunarlar. TensorRT ise eğitilmiş modelleri mümkün olduğunca hızlı yürütmek için tasarlanmış bir çıkarım motorudur. Eğitim için kullanılmaz.
• ONNX Karşılaştırması: ONNX (Open Neural Network Exchange) formatı, çerçeveler arasında aracı bir köprü görevi görür. ONNX birlikte çalışabilirlik sağlarken (örneğin bir modeli PyTorch'tan başka bir platforma taşımak), TensorRT donanıma özgü optimizasyona odaklanır. Genellikle bir model önce ONNX'e dönüştürülür ve ardından nihai motoru oluşturmak için TensorRT tarafından ayrıştırılır.

Yapay zeka aracıları veya görü sistemlerinin performansını maksimize etmeyi amaçlayan geliştiriciler için, bir eğitim çerçevesinden TensorRT gibi optimize edilmiş bir çalışma zamanına geçişi anlamak profesyonel MLOps süreçlerinde kilit bir adımdır.