Real-time Inference

Gerçek zamanlı çıkarım, eğitilmiş bir makine öğrenimi (ML) modelinin canlı giriş verilerini kabul ederek neredeyse anında tahminler üretmesi sürecini ifade eder. Verilerin toplanıp daha sonra toplu olarak analiz edildiği çevrimdışı işlemenin aksine gerçek zamanlı çıkarım anlık olarak gerçekleşir ve sistemlerin çevrelerine hızla ve çevik bir şekilde tepki vermesini sağlar. Bu özellik, modern Yapay Zekâ (AI) uygulamalarının kalbidir; cihazların verileri milisaniyeler içinde algılamasına, yorumlamasına ve bunlara göre hareket etmesine olanak tanır.

Düşük Gecikmenin Önemi#

Gerçek zamanlı performansı değerlendirmede kullanılan temel metrik çıkarım gecikmesidir. Bu metrik, verilerin modele girildiği an (örneğin bir video kamerasından alınan kare) ile modelin bir çıktı ürettiği an (örneğin bir sınırlayıcı kutu veya sınıflandırma etiketi) arasındaki zaman gecikmesini ölçer. Bir uygulamanın "gerçek zamanlı" olarak kabul edilebilmesi için gecikmenin, gelen veri akışının hızına uyum sağlayacak kadar düşük olması gerekir.

Örneğin, saniyede 30 kare (FPS) hızında çalışan video anlama görevlerinde sistemin her kareyi işlemek için yaklaşık 33 milisaniyelik katı bir zaman bütçesi vardır. Çıkarım daha uzun sürerse sistem gecikmeye neden olur ve bu da karelerin atlanmasına veya yanıtların gecikmesine yol açabilir. Bunu başarmak çoğu zaman GPU'lar veya NVIDIA Jetson gibi özel Edge AI cihazlarıyla donanım hızlandırması gerektirir.

Gerçek Zamanlı Çıkarım ve Toplu Çıkarım Karşılaştırması#

Gerçek zamanlı iş akışlarını toplu işlemden ayırt etmek faydalıdır. Her ikisi de tahmin üretmeyi içerse de amaçları ve mimarileri önemli ölçüde farklıdır:

• Gerçek Zamanlı Çıkarım: Düşük gecikmeye öncelik verir. Tek tek veri noktalarını (veya çok küçük grupları) gelir gelmez işler. Bu, bir aracın zamanında fren yapabilmek için yayayı anında algılaması gereken otonom araçlar gibi etkileşimli uygulamalar için kritik öneme sahiptir.
• Toplu Çıkarım: Yüksek iş hacmine öncelik verir. Büyük miktarda veriyi toplar ve tümünü aynı anda işler. Bu yaklaşım, gecikmenin kritik olmadığı görevler, örneğin gecelik envanter raporları oluşturma veya geçmişteki büyük veri eğilimlerini analiz etme gibi işlemler için uygundur.

Gerçek Dünya Uygulamaları#

Saniyenin çok küçük bir bölümünde karar verebilme yeteneği, dinamik ortamlarda otomasyonu mümkün kılarak çeşitli sektörleri dönüştürmüştür.

• Akıllı Üretim: Üretimde Yapay Zekâ alanında, taşıma bantlarının üzerine yerleştirilen kameralar otomatik kalite kontrolü gerçekleştirmek için gerçek zamanlı çıkarımdan yararlanır. Bir nesne algılama modeli, yüksek hızlarda hareket eden ürünlerdeki kusurları veya yabancı nesneleri anında tespit edebilir. Bir anormallik algılandığında sistem, ürünü hemen uzaklaştırması için robotik bir kolu tetikler ve yalnızca yüksek kaliteli ürünlerin ambalajlamaya ulaşmasını sağlar.
• Gözetim ve Güvenlik: Modern güvenlik sistemleri çevreleri izlemek için bilgisayarlı görü teknolojisine dayanır. Bu kameralar yalnızca görüntü kaydetmek yerine, yetkisiz erişim gerçekleştiği anda güvenlik personelini uyarmak için gerçek zamanlı kişi algılama veya yüz tanıma çalıştırır.
• Robotik: Robotikte Yapay Zekâ alanında robotlar, karmaşık fiziksel alanlarda gezinmek için poz tahmini kullanır. Bir depo robotunun rotasını güvenli ve verimli bir şekilde planlayabilmesi için engellerin ve insan çalışanların konumunu sürekli olarak çıkarsaması gerekir.

Optimizasyon ve Dağıtım#

Modelleri gerçek zamanlı uygulamalar için dağıtmak, hedef donanımda verimli çalışmalarını sağlamak amacıyla çoğu zaman optimizasyon gerektirir. Model niceleme gibi teknikler, bellek kullanımını azaltmak ve doğruluk üzerinde minimum etkiyle çıkarım hızını artırmak için model ağırlıklarının hassasiyetini (örneğin float32'den int8'e) düşürür.

Geliştiriciler bu süreci kolaylaştırmak için Ultralytics Platform kullanabilir. Platform, eğitimi basitleştirir ve kullanıcıların modelleri NVIDIA GPU'lar için TensorRT, Intel CPU'lar için OpenVINO veya mobil dağıtım için TFLite gibi optimize edilmiş biçimlere aktarmasına olanak tanır.

Kod Örneği#

Aşağıdaki Python kod parçacığı, ultralytics kütüphanesini kullanarak bir web kamerası akışı üzerinde gerçek zamanlı çıkarımın nasıl çalıştırılacağını gösterir. Kod, uç cihazlarda yüksek hızlı performans için özel olarak tasarlanmış YOLO26 Nano modelini kullanır.

from ultralytics import YOLO

# Load the YOLO26 Nano model, optimized for speed and real-time tasks
model = YOLO("yolo26n.pt")

# Run inference on the default webcam (source="0")
# 'stream=True' returns a generator for memory-efficient processing
# 'show=True' displays the video feed with bounding boxes in real-time
results = model.predict(source="0", stream=True, show=True)

# Iterate through the generator to process frames as they arrive
for result in results:
    # Example: Print the number of objects detected in the current frame
    print(f"Detected {len(result.boxes)} objects")