Sözlük

Çıkarım Motoru

Çıkarım motorlarının gerçek zamanlı tahminler sunarak, modelleri optimize ederek ve platformlar arası dağıtımı mümkün kılarak yapay zekayı nasıl güçlendirdiğini keşfedin.

Yapay zeka (AI) ve makine öğrenimi (ML) alanında, bir çıkarım motoru, yeni, görünmeyen veriler üzerinde tahminler yapmak için eğitilmiş modelleri yürütmekten sorumlu önemli bir yazılım veya donanım bileşenidir. Bir model eğitim aşamasında kalıpları öğrendikten sonra, çıkarım motoru bu eğitimli modeli alır ve gerçek dünya girdilerine uygular. Çıkarım olarak bilinen bu süreç, yapay zeka sistemlerinin pratik uygulamalarda nesne algılama, görüntü sınıflandırma veya doğal dil işleme (NLP) gibi görevleri yerine getirmesini sağlar. Esasen konuşlandırılmış bir YZ modelinin operasyonel kalbidir ve öğrenilen bilgiyi verimli bir şekilde eyleme geçirilebilir çıktılara dönüştürür.

Çıkarım Motorları Nasıl Çalışır?

Bir çıkarım motoru, genellikle aşağıdaki gibi derin öğrenme (DL) çerçeveleri kullanılarak geliştirilen önceden eğitilmiş bir model kullanır PyTorch veya TensorFlowBelirli bir görev için gereken bilgiyi kapsar. Yeni veriler (örneğin bir görüntü, ses klibi veya metin cümlesi) girdi olarak sağlandığında, çıkarım motoru bunları modelin hesaplama yapısı (genellikle bir sinir ağı) aracılığıyla işler. Bu, bir görüntüdeki sınırlayıcı kutularla nesneleri tanımlamak, konuşmayı yazıya dökmek veya duyguları sınıflandırmak gibi bir çıktı oluşturur. Ultralytics YOLO modelleri, örneğin, güçlü bulut sunucularından kaynak kısıtlı uç cihazlara kadar çeşitli platformlarda gerçek zamanlı nesne algılama ve segmentasyon elde etmek için verimli çıkarım motorlarına bağlıdır. Çıkarım motorunun performansı, genellikle çıkarım gecikmesi ve verimi ile ölçülen uygulamanın hızını ve yanıt verebilirliğini doğrudan etkiler.

Optimizasyonlar ve Temel Özellikler

Modern çıkarım motorlarının kilit rollerinden biri optimizasyondur. Büyük, eğitimli bir derin öğrenme modelini doğrudan çalıştırmak hesaplama açısından pahalı ve yavaş olabilir. Çıkarım motorları, modelleri daha hızlı ve daha verimli hale getirmek için çeşitli teknikler kullanır ve farklı donanımlarda dağıtımı mümkün kılar. Yaygın model optimizasyon stratejileri şunları içerir:

Model Niceleme: Model boyutunu azaltmak ve hesaplamayı hızlandırmak için model ağırlıklarının hassasiyetinin azaltılması (örneğin, 32 bit kayan noktadan 8 bit tam sayıya), genellikle doğruluk üzerinde minimum etki ile.
Model Budama: Daha küçük, daha hızlı bir model oluşturmak için sinir ağı içindeki gereksiz veya önemsiz bağlantıların (ağırlıkların) kaldırılması.
Grafik Optimizasyonu: Belirli bir donanım üzerinde yürütme verimliliğini artırmak için modelin hesaplama grafiğindeki katmanları birleştirmek veya işlemleri yeniden düzenlemek.
Donanım Hızlandırma: GPU'lar, TPU'lar gibi özel işlemcilerden veya Google Edge TPU veya NVIDIA Jetson gibi cihazlarda bulunan özel yapay zeka hızlandırıcılarından yararlanma.

Birçok çıkarım motoru, ONNX (Open Neural Network Exchange) gibi standartlaştırılmış model formatlarını da destekler, bu da tek bir çerçevede eğitilmiş modellere izin verir (örneğin PyTorch) farklı bir motor veya platform kullanılarak çalıştırılmasını sağlar. Popüler çıkarım motorları şunları içerir NVIDIA TensorRT, Intel'in OpenVINO'su ve TensorFlow Lite. Ultralytics modelleri, Model Dağıtım Seçenekleri kılavuzunda ayrıntılı olarak açıklanan bu motorlarla uyumlu çeşitli biçimlere dışa aktarmayı destekler.