Çıkarım Motoru

Çıkarım motoru, yeni ve görülmemiş verilerden tahminler oluşturmak için eğitilmiş bir makine öğrenimi modelini yürüten özel bir yazılım bileşenidir. Bir model PyTorch veya TensorFlow gibi bir çerçeve kullanılarak eğitildikten sonra, çıkarım motoru onu bir üretim ortamında verimli bir şekilde çalıştırmak için devreye girer. Temel amacı, modeli hız ve kaynak kullanımı için optimize ederek, güçlü bulut sunucularından kaynak kısıtlı uç cihazlara kadar çeşitli donanım platformlarında gerçek zamanlı çıkarım elde etmeyi mümkün kılmaktır.

Bir Çıkarım Motorunun Rolü

Bir çıkarım motorunun temel işlevi, eğitilmiş bir model ile gerçek dünya uygulaması arasındaki boşluğu doldurmaktır. Çıkarım gecikmesini en aza indirmek ve doğruluktan önemli ölçüde ödün vermeden verimi en üst düzeye çıkarmak için çeşitli kritik optimizasyonlar gerçekleştirir.

Temel optimizasyon teknikleri şunlardır:

• Graf Optimizasyonu: Motor, modelin hesaplama grafiğini analiz eder ve hesaplama yükünü azaltmak için birden çok sıralı işlemi tek bir işlemde birleştiren "katman füzyonu" gibi optimizasyonlar uygular.
• Donanıma Özgü Optimizasyon: Modeli, CPU'lar, GPU'lar veya Google'ın TPU'ları gibi özel yapay zeka hızlandırıcıları gibi belirli donanımlarda çalışacak şekilde derler. Bu, donanımın mimarisine göre uyarlanmış, yüksek düzeyde optimize edilmiş işlem çekirdeklerinin kullanılmasını içerir.
• Hassasiyet Azaltma: Model kuantalama gibi teknikler, bir modelin ağırlıklarını 32 bit kayan noktalı sayılardan daha verimli 16 bit veya 8 bit tamsayılara dönüştürmek için kullanılır. Bu, bellek kullanımını önemli ölçüde azaltır ve hesaplamaları hızlandırır; bu da özellikle uç bilişim için önemlidir.
• Model Budaması (Model Pruning): Bir çıkarım motoru, model budaması (model pruning) yoluyla gereksiz ağırlıkların kaldırıldığı modellerin çalıştırılmasını kolaylaştırabilir ve bu da modelin boyutunu ve hesaplama talebini daha da azaltır.

Popüler Çıkarım Motorları

Birçok kuruluş, derin öğrenme modellerini hızlandırmak için yüksek performanslı çıkarım motorları geliştirmiştir. Popüler seçenekler şunlardır:

• NVIDIA TensorRT: NVIDIA GPU'lar için yüksek performanslı bir optimize edici ve çalışma zamanı olup, en son teknoloji ürünü çıkarım hızları sağlar. Ultralytics, YOLO modellerini dağıtmak için TensorRT ile sorunsuz entegrasyon sunar.
• Intel'in OpenVINO'su: CPU'lar ve entegre GPU'lar dahil olmak üzere Intel donanımında modelleri optimize etmek ve dağıtmak için kullanılan açık kaynaklı bir araç setidir. Ultralytics modelleri kolayca OpenVINO'ya aktarılabilir.
• ONNX Çalışma Zamanı: Microsoft tarafından geliştirilen ve modelleri çok çeşitli donanımlarda ONNX (Açık Sinir Ağı Değişimi) biçiminde çalıştırabilen çapraz platform bir motor.
• TensorFlow Lite (TFLite): Android ve iOS gibi sistemlerde çalışan mobil ve gömülü cihazlarda modelleri dağıtmak için özel olarak tasarlanmış hafif bir çözüm.
• Apache TVM: Çeşitli donanım arka uçları için modelleri optimize edebilen açık kaynaklı bir makine öğrenimi derleyici çatısıdır.

Gerçek Dünya Uygulamaları

Çıkarım motorları, sayısız yapay zeka uygulamasının operasyonel omurgasıdır.

1. Otomotiv çözümleri için yapay zekada, bir çıkarım motoru, kameralardan ve sensörlerden gelen verileri işlemek için bir aracın yerleşik bilgisayarında çalışır. Kritik güvenlik özelliklerini etkinleştirerek yayaları, trafik işaretlerini ve diğer araçları milisaniyeler içinde tanımlamak için Ultralytics YOLO11 gibi bir nesne algılama modeli yürütür.
2. Akıllı üretim için, bir fabrika zeminindeki bir çıkarım motoru, kalite kontrol için bir bilgisayar görüşü sistemine güç sağlar. Ürünlerin yüksek hız ve güvenilirlikle kalite standartlarını karşılamasını sağlamak için bir üretim hattından gelen görüntüleri gerçek zamanlı olarak analiz ederek kusurları tespit eder.

Çıkarım Motoru ve İlgili Kavramlar

Bir çıkarım motorunu MLOps içindeki diğer ilgili terimlerden ayırt etmek faydalıdır.

• ML Framework'ü ve Çıkarım Motoru: PyTorch gibi bir makine öğrenimi framework'ü, hem modelleri eğitmek hem de dağıtmak için kapsamlı bir kütüphanedir. Veri kümelerini yönetmek, sinir ağları oluşturmak ve eğitim döngülerini çalıştırmak için araçlar içerir. Buna karşılık, bir çıkarım motoru, yalnızca dağıtım aşamasına odaklanan oldukça uzmanlaşmış bir araçtır. Bir framework temel çıkarım yeteneklerine sahipken, özel bir çıkarım motoru agresif, donanıma özgü optimizasyonlar yoluyla üstün performans sağlar.

• Model Sunumu - Çıkarım Motoru: Model sunumu, API uç noktaları, yük dengeleyiciler ve izleme araçları gibi bileşenleri içeren, bir modeli bir ağ üzerinden kullanılabilir hale getirmek için daha geniş altyapıyı ifade eder. Çıkarım motoru, tahmin isteklerini yürüten bir model sunum sistemindeki temel bileşendir. Çıkarım motorlarının daha büyük resme nasıl uyduğunu görmek için çeşitli model dağıtım seçeneklerini keşfedebilirsiniz. Ultralytics HUB gibi platformlar, eğitimden optimize edilmiş dağıtıma kadar tüm bu süreci kolaylaştırır.