Inference Engine

An inference engine is a specialized software component designed to execute trained machine learning models and generate predictions from new data. Unlike the training phase, which focuses on learning patterns through computationally intensive processes like backpropagation, an inference engine is strictly optimized for the operational phase known as model deployment. Its primary goal is to run computations as efficiently as possible, minimizing inference latency and maximizing throughput on target hardware, whether that be a scalable cloud server or a battery-powered Edge AI device. By stripping away the overhead required for training, these engines allow complex neural networks to function in real-time applications.

Link to this sectionÇıkarım Motorları Performansı Nasıl Optimize Eder?#

Bir eğitim ortamından çıkarım motoruna geçiş, genellikle modelin yapısını düzene sokmak için birkaç optimizasyon adımını içerir. Modelin artık öğrenmesi gerekmediğinden, motor gradyan güncellemeleri için gereken verileri atabilir ve model ağırlıklarını etkili bir şekilde dondurabilir. Çıkarım motorları tarafından kullanılan yaygın teknikler arasında, bellek erişimini azaltmak için birden fazla işlemin tek bir adımda birleştirildiği katman birleştirme ve ağırlıkları yüksek hassasiyetli kayan noktalı formatlardan daha düşük hassasiyetli tam sayılara (örneğin INT8) dönüştüren model nicemleme bulunur.

Bu optimizasyonlar, Ultralytics YOLO26 gibi gelişmiş mimarilerin doğruluktan önemli ölçüde ödün vermeden inanılmaz yüksek hızlarda çalışmasını sağlar. Farklı motorlar, maksimum performansı elde etmek için genellikle belirli donanım ekosistemlerine göre uyarlanır:

• NVIDIA TensorRT: Donanıma özgü çekirdekleri kullanarak ve ağ grafiğini optimize ederek NVIDIA GPU'lar üzerinde yüksek performanslı çıkarım sunar.
• Intel OpenVINO: Optimizes deep learning performance on Intel architectures, including CPUs and integrated graphics, making it ideal for edge computing.
• ONNX Runtime: Farklı çerçeveler ve donanım arka uçları arasında bir köprü sağlayarak, ONNX formatındaki modelleri destekleyen platformlar arası bir hızlandırıcıdır.

Link to this sectionGerçek Dünya Uygulamaları#

Çıkarım motorları, bilgisayarlı görü sistemlerinin çevrelerine anında tepki vermesini sağlayarak birçok modern yapay zeka kolaylığının arkasındaki sessiz sürücülerdir.

1. Otonom Araçlar: Kendi kendine giden arabalarda nesne algılama modelleri; yayaları, trafik işaretlerini ve diğer araçları milisaniyeler içinde tanımlamalıdır. Arabanın donanımı üzerinde yerel olarak çalışan bir çıkarım motoru, bulut bağlantısına güvenmek tehlikeli gecikmelere yol açacağından, bu işlemenin gerçek zamanlı çıkarım hızlarıyla gerçekleşmesini sağlar.

2. Akıllı Üretim: Fabrikalar, montaj hatlarındaki ürünleri incelemek için endüstriyel IoT kameralarını kullanır. Bir çıkarım motoru, anomali tespiti yapmak ve kusurları anında işaretlemek için video akışlarını işler. Bu otomasyon, üretimi yavaşlatmadan israfı azaltır ve sıkı kalite kontrolü sağlar.

Link to this sectionÇıkarım Motoru ve Eğitim Çerçevesi Karşılaştırması#

Modeli oluşturmak için kullanılan yazılım ile onu çalıştırmak için kullanılan motor arasında ayrım yapmak yararlıdır. Bir Eğitim Çerçevesi (örneğin PyTorch veya TensorFlow), mimarileri tasarlamak, kaybı hesaplamak ve denetimli öğrenme yoluyla parametreleri güncellemek için araçlar sağlar. Esnekliğe ve hata ayıklama yeteneklerine öncelik verir.

Buna karşılık Çıkarım Motoru, eğitim çerçevesinden gelen hazır yapıyı alır ve yürütme hızına ve bellek verimliliğine öncelik verir. Çıkarımı bir eğitim çerçevesi içinde çalıştırabilsen de, özellikle TensorFlow Lite veya Apple Core ML gibi araçlarla cep telefonlarında veya gömülü cihazlarda dağıtım için özel bir motor kullanmak kadar verimli olması pek olası değildir.

Link to this sectionYOLO26 ile Çıkarım Motoru Kullanımı#

ultralytics paketi, çıkarım motorlarının karmaşıklığının çoğunu soyutlayarak kullanıcıların tahminleri sorunsuz bir şekilde çalıştırmasına olanak tanır. Arka planda, görüntülerin ön işlenmesini ve modelin yürütülmesini yönetir. Ölçeklendirme yapmak isteyen kullanıcılar için Ultralytics Platform, modelleri eğitme ve çeşitli çıkarım motorlarıyla uyumlu optimize edilmiş formatlara aktarma sürecini basitleştirir.

Aşağıdaki örnek, önceden eğitilmiş bir YOLO26 modelinin nasıl yükleneceğini ve bir görüntü üzerinde çıkarımın nasıl çalıştırılacağını göstermektedir:

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Run inference on an image from a URL
# The 'predict' method acts as the interface to the inference process
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results
results[0].show()