Real-time Inference

Gerçek zamanlı çıkarım, eğitilmiş bir makine öğrenimi (ML) modelinin canlı girdi verilerini kabul edip neredeyse anında tahminler ürettiği süreci ifade eder. Verilerin daha sonra toplu halde işlendiği çevrimdışı işlemenin aksine, gerçek zamanlı çıkarım anında gerçekleşir ve sistemlerin çevrelerine hız ve çeviklikle tepki vermesini sağlar. Bu yetenek, cihazların milisaniyeler içinde verileri algılamasını, yorumlamasını ve harekete geçmesini sağlayan modern Yapay Zeka (AI) uygulamalarının temelini oluşturur.

Link to this sectionDüşük Gecikmenin Önemi#

Gerçek zamanlı performansı değerlendirmek için temel metrik çıkarım gecikmesidir. Bu, verinin modele girildiği an (örneğin bir video kamerasından alınan kare) ile modelin bir çıktı (örneğin bir sınırlayıcı kutu veya sınıflandırma etiketi) ürettiği an arasındaki zaman gecikmesini ölçer. Bir uygulamanın "gerçek zamanlı" olarak kabul edilebilmesi için gecikmenin, gelen veri akışının hızına yetişecek kadar düşük olması gerekir.

For example, in video understanding tasks running at 30 frames per second (FPS), the system has a strict time budget of approximately 33 milliseconds to process each frame. If the inference takes longer, the system introduces lag, potentially leading to dropped frames or delayed responses. achieving this often requires hardware acceleration using GPUs or specialized Edge AI devices like the NVIDIA Jetson.

Link to this sectionGerçek Zamanlı Çıkarım ve Toplu (Batch) Çıkarım#

Gerçek zamanlı iş akışlarını toplu işlemden ayırt etmek faydalıdır. Her ikisi de tahmin üretmeyi içerse de, hedefleri ve mimarileri önemli ölçüde farklıdır:

• Gerçek Zamanlı Çıkarım: Düşük gecikmeyi önceliklendirir. Tek veri noktalarını (veya çok küçük grupları) gelir gelmez işler. Bu, bir arabanın fren yapmak için bir yayayı anında tespit etmesi gereken otonom araçlar gibi etkileşimli uygulamalar için çok önemlidir.
• Toplu (Batch) Çıkarım: Yüksek verimi önceliklendirir. Büyük miktarda veri toplar ve hepsini aynı anda işler. Bu, gecelik envanter raporları oluşturmak veya geçmiş büyük veri eğilimlerini analiz etmek gibi acil olmayan görevler için uygundur.

Link to this sectionGerçek Dünya Uygulamaları#

Anlık kararlar verebilme yeteneği, dinamik ortamlarda otomasyonu mümkün kılarak çeşitli endüstrileri dönüştürmüştür.

• Akıllı Üretim: Üretimde yapay zeka alanında, konveyör bantlarının üzerine yerleştirilen kameralar, otomatik kalite kontrol yapmak için gerçek zamanlı çıkarımı kullanır. Bir nesne algılama modeli, yüksek hızlarda hareket eden ürünlerdeki kusurları veya yabancı maddeleri anında tanımlayabilir. Bir anormallik tespit edilirse, sistem robotik bir kolu tetikleyerek öğeyi anında uzaklaştırır ve sadece yüksek kaliteli ürünlerin paketlemeye ulaşmasını sağlar.
• Gözetim ve Güvenlik: Modern güvenlik sistemleri, çevreleri izlemek için bilgisayarlı görü teknolojisine güvenir. Bu kameralar sadece görüntü kaydetmekle kalmaz, yetkisiz erişimi olduğu anda güvenlik personeline bildirmek için gerçek zamanlı kişi algılama veya yüz tanıma işlemlerini çalıştırır.
• Robotik: Robotikte yapay zeka alanında robotlar, karmaşık fiziksel alanlarda gezinmek için poz tahmini kullanır. Bir depo robotu, yolunu güvenli ve verimli bir şekilde planlamak için engellerin ve insan çalışanların konumunu sürekli olarak tahmin etmelidir.

Link to this sectionOptimizasyon ve Dağıtım#

Gerçek zamanlı uygulamalar için modelleri dağıtmak, hedef donanımda verimli bir şekilde çalışmalarını sağlamak için genellikle optimizasyon gerektirir. Model niceleme gibi teknikler, bellek kullanımını azaltmak ve doğruluk üzerinde minimum etkiyle çıkarım hızını artırmak için model ağırlıklarının hassasiyetini (örneğin float32'den int8'e) düşürür.

Geliştiriciler bu süreci hızlandırmak için Ultralytics Platform'dan faydalanabilirler. Platform, eğitimi basitleştirir ve kullanıcıların modelleri NVIDIA GPU'ları için TensorRT, Intel CPU'ları için OpenVINO veya mobil dağıtım için TFLite gibi optimize edilmiş formatlara aktarmalarına olanak tanır.

Link to this sectionKod Örneği#

Aşağıdaki Python kod parçası, ultralytics kütüphanesini kullanarak bir web kamerası akışında gerçek zamanlı çıkarımın nasıl çalıştırılacağını göstermektedir. Bu, uç cihazlarda yüksek hızlı performans için özel olarak tasarlanmış YOLO26 Nano modelini kullanır.

from ultralytics import YOLO

# Load the YOLO26 Nano model, optimized for speed and real-time tasks
model = YOLO("yolo26n.pt")

# Run inference on the default webcam (source="0")
# 'stream=True' returns a generator for memory-efficient processing
# 'show=True' displays the video feed with bounding boxes in real-time
results = model.predict(source="0", stream=True, show=True)

# Iterate through the generator to process frames as they arrive
for result in results:
    # Example: Print the number of objects detected in the current frame
    print(f"Detected {len(result.boxes)} objects")