Çıkarım Gecikmesi

Çıkarım gecikmesi, bir çıkarım ile bir çıkarım arasında geçen süredir. bir girdi alan makine öğrenimi (ML) modeli ve buna karşılık gelen bir çıktı üretir. Tipik olarak milisaniye (ms) cinsinden ölçülen bu metrik, aşağıdakiler için belirleyici bir faktördür duyarlılığı yapay zeka (AI) sistemleri. Üzerinde çalışan geliştiriciler ve mühendisler için bilgisayarla görme (CV) projeleri, en aza gecikme genellikle doğruluğu en üst düzeye çıkarmak kadar kritiktir, özellikle de insanlarla veya fiziksel makinelerle etkileşime giren uygulamaları dağıtırken. Yüksek gecikme süresi şunlara neden olur Düşük gecikme kesintisiz bir kullanıcı deneyimi yaratır ve anında karar vermeyi sağlarken, yavaş performans modern için temel kavram akıllı sistemler.

Düşük Gecikmenin Önemi

Model dağıtımı alanında, hız Bir sistemin verileri işlemesi, belirli görevler için fizibilitesini belirler. Düşük çıkarsama gecikmesi, aşağıdakilerin temel taşıdır gerçek zamanlı çıkarım, tahminlerin eyleme dönüştürülebilir olması için katı bir zaman bütçesi içinde gerçekleşmesi gerekir. Örneğin, birkaç yüz milisaniyelik bir gecikme bir öneri sistemi için kabul edilebilir alışveriş sitesi, ancak güvenlik açısından kritik sistemler için felaket olabilir. Özel durumların anlaşılması Geliştirme döngüsünün başlarında bir projenin gecikme gereksinimleri ekiplerin güvenilirliği sağlamak için uygun model mimarilerini ve donanım konfigürasyonlarını seçmelerine olanak tanır.

Gecikmeyi Etkileyen Temel Faktörler

Tek bir çıkarım geçişi için gereken toplam süreye çeşitli değişken bileşenler katkıda bulunur:

• Model Mimarisi: Bir binanın yapısal tasarımı sinir ağı (NN) büyük ölçüde etkilemektedir hız. Büyük modeller gibi çok katmanlı derin modeller transformatörler, doğal olarak daha fazla hesaplama gerektirir hafiften daha konvolüsyonel sinir ağları (CNN'ler). Gibi mimariler YOLO11 dengelemek için optimize edilmiştir verimli uygulama için derinlik ve hız.
• Donanım Hızlandırma: İşlem birimi seçimi çok önemlidir. Standart bir CPU genel görevleri iyi bir şekilde yerine getirirken, özel donanımlar GPU (Grafik İşlem Birimi) veya bir TPU (Tensor İşleme Birimi) Yapay zeka modellerinin gerektirdiği matris işlemlerini paralelleştirmek için tasarlanmıştır ve hesaplama süresini önemli ölçüde azaltır. NVIDIA CUDA teknolojisi, aşağıdakileri kolaylaştıran yazılımların yaygın bir örneğidir bu hızlanma.
• Giriş Çözünürlüğü: Daha büyük görüntülerin veya video karelerinin işlenmesi daha fazla hesaplama kaynağı gerektirir. Giriş boyutunun azaltılması (örneğin 640p'den 320p'ye) gecikme süresini azaltabilir, ancak potansiyel olarak algılama pahasına küçük nesneler, aşağıda incelenen bir değiş tokuş EfficientNet çalışmaları.
• Model Optimizasyonu: Aşağıdaki gibi teknikler model niceleme-dönüştürmeağırlıkları 32 bit kayan noktadan 8 bit tamsayıya-ve model budama gereksiz hesaplamaları kaldırır. Araçlar ONNX Runtime gibi hedef donanımda gecikmeyi azaltmak için özel olarak üretilmiştir.

Gerçek Dünya Uygulamaları

Çıkarım gecikmesinin pratikteki etkisi en iyi, hızın pazarlık konusu olmadığı somut kullanım durumları aracılığıyla anlaşılabilir.

1. Otonom Sürüş: İçinde Otomotiv uygulamalarında yapay zeka, araçlar çevrelerini sürekli olarak algılarlar. Bir bir yayayı tanımlayan nesne algılama sistemi karşıdan karşıya geçerken kamera görüntülerini işlemeli ve fren sistemlerini milisaniyeler içinde tetiklemelidir. Burada aşırı gecikme fren mesafesini artırarak güvenliği doğrudan tehlikeye atar. Araştırma otonom araç gecikmesi, küçük gecikmelerin bile gecikmeler tehlikeli durumlara yol açabilir.
2. Endüstriyel Robotik: İçin Üretimde yapay zeka, yüksek hız Alma ve yerleştirme robotları, hızlı hareket eden bir konveyör bandı üzerindeki öğeleri bulmak için görüş sistemlerine güvenir. Eğer çıkarım Gecikme, nesnenin robotun erişim mesafesinde olduğu süreyi aşarsa sistem başarısız olur. Uygulama uç yapay zeka çözümleri verilerin yerel olarak işlenmesini sağlar ile ilişkili ağ gecikmelerini ortadan kaldırarak cihaz üzerinde bulut bilişim.

Çıkarım Gecikmesi ve Verimlilik

"Gecikme" ile "iş hacmi "ni birbirinden ayırmak çok önemlidir, çünkü bunlar genellikle birbiriyle ters orantılıdır optimizasyon hedefleri.

• Çıkarım Gecikmesi, tek bir tahmin için geçen süreye odaklanır. Bu birincil gibi tek kullanıcılı, etkileşimli uygulamalar için metrik sanal asistanlar veya otonom robotlar.
• Verim, bir sistemin belirli bir süre içinde kaç tahmini işleyebileceğini ölçer (örn. saniye). Yüksek iş hacmi tipik olarak aşağıdakilerin artırılmasıyla elde edilir birden fazla girdiyi işleyen parti boyutu aynı anda. Ancak, gruplama genellikle kuyrukta bekleyen her bir öğe için gecikme süresini artırır.

Bu gecikme ve verim arasındaki denge geliştiricilerin çıkarım işlem hatlarını dağıtım ortamının özel ihtiyaçlarına göre ayarlamalarını gerektirir.

Ultralytics ile Gecikme Süresini Ölçme

Ultralytics modellerinin performansını yerleşik kıyaslama modunu kullanarak değerlendirebilirsiniz. Bu araç ayrıntılı bilgi sağlar gibi farklı formatlar arasında çıkarım hızına ilişkin metrikler ONNX veya TorchScript.

from ultralytics import YOLO

# Load a standard YOLO11 model
model = YOLO("yolo11n.pt")

# Benchmark the model on CPU to measure latency
# Results will display inference time per image in milliseconds
model.benchmark(data="coco8.yaml", imgsz=640, device="cpu")

Üretim için Optimize Etme

Mümkün olan en düşük gecikme süresini elde etmek için, geliştiriciler genellikle bir donanımlarına uygun çıkarım motoru. İçin kullanarak bir modeli NVIDIA Jetson cihazına dağıtma TensorRT optimizasyonu, diğer optimizasyonlara kıyasla önemli hız artışları sağlayabilir. ham koşu PyTorch Kod. Benzer şekilde, aşağıdakileri kullanarak Intel OpenVINO üzerinde performansı hızlandırabilir standart CPU mimarileri. Bu araçlar hesaplama grafiğini optimize eder, katmanları birleştirir ve belleği daha fazla yönetir standart eğitim çerçevelerinden daha etkilidir.