Real-time Inference

Gerçek zamanlı çıkarım, eğitilmiş bir machine learning (ML) modelinin canlı girdi verilerini kabul edip neredeyse anında tahminler ürettiği süreci ifade eder. Verilerin daha sonra toplu halde toplanıp analiz edildiği çevrimdışı işlemenin aksine, gerçek zamanlı çıkarım anında gerçekleşir ve sistemlerin çevrelerine hız ve çeviklikle tepki vermesini sağlar. Bu yetenek, modern Artificial Intelligence (AI) uygulamalarının kalbidir ve cihazların verileri milisaniyeler içinde algılamasına, yorumlamasına ve bunlara göre hareket etmesine olanak tanır.

Düşük Gecikmenin Önemi#

Gerçek zamanlı performansın değerlendirilmesindeki birincil metrik inference latency değeridir. Bu, verilerin modele girildiği an (örneğin bir video kameradan alınan bir kare) ile modelin sınırlayıcı kutu (bounding box) veya sınıflandırma etiketi gibi bir çıktı ürettiği an arasındaki zaman gecikmesini ölçer. Bir uygulamanın "gerçek zamanlı" kabul edilmesi için gecikmenin, gelen veri akışının hızına uyacak kadar düşük olması gerekir.

Örneğin, saniyede 30 kare (FPS) hızla çalışan video understanding görevlerinde, sistemin her bir kareyi işlemek için yaklaşık 33 milisaniyelik katı bir zaman bütçesi vardır. Çıkarım daha uzun sürerse, sistem gecikme ekler ve bu da potansiyel olarak kare düşmelerine veya gecikmeli yanıt debería yol açabilir. Bunu başarmak genellikle GPUs kullanarak donanım hızlandırma veya NVIDIA Jetson gibi özel Edge AI cihazları gerektirir.

Gerçek Zamanlı Çıkarım ve Toplu (Batch) Çıkarım#

Gerçek zamanlı iş akışlarını batch processing işlemlerinden ayırmak faydalıdır. Her ikisi de tahminler üretmeyi içerse de, hedefleri ve mimarileri önemli ölçüde farklılık gösterir:

• Real-time Inference: Düşük gecikmeye öncelik verir. Tekil veri noktalarını (veya çok küçük toplu işleri) geldikleri anda işler. Bu, bir arabanın zamanında fren yapabilmesi için bir yaya tespit etmesi gereken autonomous vehicles gibi etkileşimli uygulamalar için çok önemlidir.
• Batch Inference: Yüksek verime öncelik verir. Büyük hacimli verileri toplar ve hepsini aynı anda işler. Bu, gecikmeli olmayan görevler, örneğin gecelik envanter raporları oluşturmak veya geçmişteki big data trendlerini analiz etmek için uygundur.

Gerçek Dünya Uygulamaları#

Anlık kararlar verebilme yeteneği, dinamik ortamlarda otomasyonu mümkün kılarak çeşitli endüstrileri dönüştürmüştür.

• Smart Manufacturing: AI in manufacturing alanında, konveyör bantları üzerine yerleştirilen kameralar otomatik kalite kontrolü gerçekleştirmek için gerçek zamanlı çıkarım kullanır. Bir object detection modeli, yüksek hızlarda hareket eden ürünlerdeki kusurları veya yabancı nesneleri anında tanımlayabilir. Bir anomali tespit edilirse, sistem robotik bir kolu tetikleyerek öğeyi hemen kaldırır ve yalnızca yüksek kaliteli ürünlerin paketlemeye ulaşmasını sağlar.
• Surveillance and Security: Modern güvenlik sistemleri çevreleri izlemek için computer vision teknolojisine güvenir. Bu kameralar sadece görüntü kaydetmekle kalmaz, güvenlik personeline yetkisiz erişimi gerçekleştiği anda bildirmek için gerçek zamanlı person detection veya face recognition çalıştırır.
• Robotics: AI in robotics alanında robotlar, karmaşık fiziksel alanlarda gezinmek için pose estimation kullanır. Bir depo robotu, rotasını güvenli ve verimli bir şekilde planlamak için engellerin ve insan işçilerin konumunu sürekli olarak çıkarmalıdır.

Optimizasyon ve Dağıtım#

Modellerin gerçek zamanlı uygulamalar için dağıtılması, hedef donanımda verimli bir şekilde çalışmalarını sağlamak için genellikle optimizasyon gerektirir. model quantization gibi teknikler, bellek kullanımını azaltmak ve accuracy üzerinde minimum etkiyle çıkarım hızını artırmak için modelin ağırlıklarının hassasiyetini düşürür (örn. float32'den int8'e).

Geliştiriciler bu süreci kolaylaştırmak için Ultralytics Platform kullanabilir. Platform eğitimi basitleştirir ve kullanıcıların modelleri NVIDIA GPUs için TensorRT, Intel CPUs için OpenVINO veya mobil dağıtım için TFLite gibi optimize edilmiş formatlara dışarı aktarmasına olanak tanır.

Kod Örneği#

Aşağıdaki Python kod parçacığı, ultralytics kütüphanesini kullanarak bir web kamerası yayını üzerinde gerçek zamanlı çıkarımın nasıl çalıştırılacağını gösterir. Bu, uç cihazlarda yüksek hızlı performans için özel olarak tasarlanmış YOLO26 Nano modelini kullanır.

from ultralytics import YOLO

# Load the YOLO26 Nano model, optimized for speed and real-time tasks
model = YOLO("yolo26n.pt")

# Run inference on the default webcam (source="0")
# 'stream=True' returns a generator for memory-efficient processing
# 'show=True' displays the video feed with bounding boxes in real-time
results = model.predict(source="0", stream=True, show=True)

# Iterate through the generator to process frames as they arrive
for result in results:
    # Example: Print the number of objects detected in the current frame
    print(f"Detected {len(result.boxes)} objects")