Inference Latency

Çıkarım gecikmesi, bir makine öğrenimi (ML) modelinin görüntü veya metin istemi gibi bir girdi almasıyla karşılık gelen bir çıktı ya da tahmin üretmesi arasındaki gecikme süresidir. Yapay zekâ (AI) bağlamında bu ölçüt genellikle milisaniye (ms) cinsinden ifade edilir ve sistem yanıt hızının önemli bir göstergesidir. Bilgisayarlı görü uygulamaları geliştiren yazılım geliştiriciler için gecikmeyi anlamak ve en aza indirmek, özellikle modelleri cep telefonları veya gömülü cihazlar gibi kaynakları kısıtlı ortamlara dağıtırken akıcı ve etkileşimli kullanıcı deneyimleri oluşturmanın temel koşuludur.

Çıkarım Gecikmesi Neden Önemlidir?#

Çıkarım gecikmesinin önemi, büyük ölçüde kullanım alanına bağlıdır. Gece sunucu raporunu analiz etmek gibi bir toplu işleme görevi için birkaç saniyelik gecikme kabul edilebilir olsa da etkileşimli uygulamalarda bu çoğu zaman kabul edilemez. Düşük gecikme, sistemlerin verileri işleyip anında tepki vermesi gereken gerçek zamanlı çıkarımın temelidir.

Gecikmeyi azaltmak, AI ajanlarının insanlarla doğal biçimde etkileşim kurmasını ve otomatik sistemlerin güvenli çalışmasını sağlar. Yüksek gecikme, arayüzlerin "ağır" çalışmasına, kullanıcıların hizmeti daha az kullanmasına veya güvenlik açısından kritik senaryolarda tehlikeli operasyonel arızalara yol açabilir. Mühendisler çoğu zaman doğruluğu artırabilen model karmaşıklığı ile yürütme hızı arasında denge kurmak zorundadır.

Gecikmeyi Etkileyen Faktörler#

Tek bir çıkarım geçişi için gereken toplam süreye çeşitli teknik bileşenler katkıda bulunur:

• Model Mimarisi: Sinir ağının (NN) tasarımı başlıca etkenlerden biridir. Çok katmanlı derin modeller genellikle daha sığ modellere kıyasla daha fazla hesaplama gerektirir. YOLO26 gibi modern mimariler, hesaplama yükünü en aza indirirken yüksek doğruluk sunmak üzere özel olarak optimize edilmiştir.
• Donanım Yetenekleri: İşlem birimi seçimi hızı önemli ölçüde etkiler. CPU çok yönlü olsa da GPU (Grafik İşlem Birimi) veya TPU (Tensör İşlem Birimi) gibi özel donanımlar, derin öğrenmenin temelindeki matris işlemlerini paralel yürütmek üzere tasarlanmıştır ve gecikmeyi önemli ölçüde azaltır.
• Girdi Boyutu: Yüksek çözünürlüklü 4K video karelerini işlemek, standart 640p görüntüleri işlemekten daha uzun sürer. Geliştiriciler hız ile küçük ayrıntıları algılama becerisi arasında en uygun dengeyi bulmak için veri ön işleme sırasında genellikle girdileri yeniden boyutlandırır.
• Optimizasyon Teknikleri: Model niceleme (ağırlıkları daha düşük duyarlılığa dönüştürme) ve model budama (gereksiz bağlantıları kaldırma) gibi yöntemler yürütmeyi hızlandırmanın etkili yollarıdır. NVIDIA TensorRT gibi araçlar modelleri belirli donanımlar için daha da optimize edebilir.

Gerçek Dünya Uygulamaları#

Çıkarım gecikmesinin etkisi, hızın vazgeçilmez olduğu pratik örneklerle en iyi biçimde açıklanabilir.

1. Otonom Sürüş: Otomotivde AI alanında otonom bir araç, yayaları, diğer araçları ve trafik ışıklarını tespit etmek için çevresini sürekli taramalıdır. Nesne algılama sistemi yüksek gecikmeye sahipse araç, bir engel belirdiğinde zamanında fren yapamayabilir. Otoyol hızlarında yalnızca 100 milisaniyelik bir gecikme bile aracın birkaç metre daha ilerlemesine neden olabilir; bu yüzden düşük gecikme kritik bir güvenlik gereksinimidir.

2. Yüksek Frekanslı Alım Satım: Finans kuruluşları piyasa eğilimlerini analiz etmek ve işlemleri gerçekleştirmek için kestirimci modelleme kullanır. Bu algoritmalar büyük miktarda veriyi işleyip mikrosaniyeler içinde karar vermelidir. Bu alanda daha düşük gecikme doğrudan rekabet avantajı sağlar ve firmaların rakipleri tepki vermeden önce kısa süreli piyasa fırsatlarından yararlanmasına olanak tanır.

Python ile Gecikmeyi Ölçme#

Ultralytics modellerinin çıkarım hızını karşılaştırma modunu kullanarak kolayca ölçebilirsin. Bu, belirli donanım kısıtlarına uygun model boyutunu seçmene yardımcı olur.

from ultralytics import YOLO

# YOLO26n modelini yükle (hız için nano sürüm)
model = YOLO("yolo26n.pt")

# Gecikmeyi ölçmek için modeli CPU üzerinde kıyasla
# Bu, her dışa aktarma biçimi için mAP ve çıkarım süresini (görüntü başına ms) raporlar.
model.benchmark(data="coco8.yaml", imgsz=640, device="cpu")

Çıkarım Gecikmesi ve İş Hacmi#

Gecikme ile iş hacminin ilişkili ancak farklı kavramlar olduğunu göz önünde bulundurarak model dağıtımında bu ikisini ayırt etmek önemlidir.

• Çıkarım Gecikmesi, tek bir tahmin için gereken süreyi ölçer (ör. "Bu görüntüyü işlemek 20 ms sürdü"). Bu, tek kullanıcılı gerçek zamanlı uygulamalar için temel ölçüttür.
• İş hacmi, zaman içinde yapılan tahminlerin miktarını ölçer (ör. "Sistem saniyede 500 görüntü işledi"). Yüksek iş hacmi çoğunlukla aynı anda birçok girdiyi işleyen toplu iş boyutunun artırılmasıyla sağlanır. Ancak toplu işleme, kuyrukta bekleyen tekil öğelerin gecikmesini artırabilir.

Birini optimize etmek çoğu zaman diğerinden ödün vermeyi gerektirir. Örneğin uç AI uygulamaları anında geri bildirim sağlamak için genellikle gecikmeye öncelik verirken bulut tabanlı veri madenciliği görevleri büyük veri kümelerini verimli biçimde işlemek için iş hacmine öncelik verebilir.

Optimizasyon Stratejileri#

Geliştiriciler gecikmeyi en aza indirmek için çeşitli stratejiler kullanır. Modelleri ONNX veya OpenVINO gibi optimize edilmiş biçimlere dışa aktarmak, standart CPU'larda önemli hız artışları sağlayabilir. Mobil dağıtımlarda modelleri TFLite veya CoreML biçimine dönüştürmek, modellerin iOS ve Android cihazlarda verimli çalışmasını sağlar. Ayrıca MobileNet gibi hafif mimarilerden veya en yeni Ultralytics YOLO26'dan yararlanmak, temel modelin tasarım gereği verimli olmasını sağlar. Kullanıcılar, karmaşık elle yapılandırma gerektirmeden modelleri bu optimize edilmiş biçimlere sorunsuzca dağıtmak için Ultralytics Platform hizmetinden de yararlanabilir.