Model Quantization

Model kuantizasyonu, derin öğrenme modellerini çalıştırmanın hesaplama ve bellek maliyetlerini azaltmak için kullanılan gelişmiş bir model optimizasyonu tekniğidir. Standart eğitim iş akışlarında, sinir ağları genellikle parametreleri (ağırlıklar ve sapmalar) ve aktivasyon haritalarını 32-bit kayan noktalı sayılar (FP32) kullanarak depolar. Bu yüksek hassasiyet, eğitim sırasında doğru hesaplamalar yapılmasını sağlasa da, çıkarım için genellikle gereksizdir. Kuantizasyon, bu değerleri 16-bit kayan noktalı (FP16) veya 8-bit tam sayılar (INT8) gibi daha düşük hassasiyetli formatlara dönüştürerek, doğruluktan önemli ölçüde ödün vermeden model boyutunu etkin bir şekilde küçültür ve yürütme hızını artırır.

Link to this sectionKuantizasyon Neden Önemlidir#

The primary driver for quantization is the need to deploy powerful AI on resource-constrained hardware. As computer vision models like YOLO26 become more complex, their computational demands increase. Quantization addresses three critical bottlenecks:

• Bellek Ayak İzi: Ağırlıkların bit genişliğini azaltarak (örneğin, 32-bit'ten 8-bit'e), modelin depolama gereksinimi 4 kata kadar azaltılır. Bu, uygulama boyutunun kısıtlı olduğu mobil uygulamalar için hayati önem taşır.
• Çıkarım Gecikmesi: Daha düşük hassasiyetli işlemler hesaplama açısından daha ucuzdur. Modern işlemciler, özellikle özel sinirsel işleme birimlerine (NPU'lar) sahip olanlar, INT8 işlemlerini FP32'den çok daha hızlı yürütebilir ve çıkarım gecikmesini önemli ölçüde azaltır.
• Güç Tüketimi: Bellek üzerinden daha az veri taşımak ve daha basit aritmetik işlemler gerçekleştirmek daha az enerji harcar; bu da taşınabilir cihazlarda ve otonom araçlarda pil ömrünü uzatır.

Link to this sectionİlgili Kavramlarla Karşılaştırma#

Kuantizasyonu diğer optimizasyon tekniklerinden ayırt etmek önemlidir, çünkü bunlar modeli farklı şekillerde değiştirir:

• Kuantizasyon ve Budama: Kuantizasyon, parametrelerin bit genişliğini düşürerek dosya boyutunu küçültürken, model budama seyrek bir ağ oluşturmak için gereksiz bağlantıların (ağırlıkların) tamamen kaldırılmasını içerir. Budama modelin yapısını değiştirirken, kuantizasyon veri temsilini değiştirir.
• Kuantizasyon ve Bilgi Damıtma: Bilgi damıtma, küçük bir "öğrenci" modelin büyük bir "öğretmen" modeli taklit etmeyi öğrendiği bir eğitim tekniğidir. Kuantizasyon, uç yapay zeka performansını daha da artırmak için genellikle damıtma işleminden sonra öğrenci modele uygulanır.

Link to this sectionGerçek Dünya Uygulamaları#

Kuantizasyon, verimliliğin esas olduğu çeşitli endüstrilerde bilgisayarlı görü ve yapay zekayı mümkün kılar.

1. Otonom Sistemler: Otomotiv endüstrisinde, sürücüsüz araçlar kameralardan ve LiDAR'dan gelen görsel verileri gerçek zamanlı olarak işlemelidir. NVIDIA TensorRT motorlarında dağıtılan kuantize edilmiş modeller, bu araçların yayaları ve engelleri milisaniyelik gecikmeyle tespit etmesini sağlayarak yolcu güvenliğini garanti altına alır.

2. Akıllı Tarım: Multispektral kameralarla donatılmış drone'lar, mahsul hastalıklarını tanımlamak veya büyüme aşamalarını izlemek için kuantize edilmiş nesne algılama modellerini kullanır. Bu modelleri drone'un gömülü sistemlerinde yerel olarak çalıştırmak, uzak tarlalarda güvenilmez hücresel bağlantılara olan ihtiyacı ortadan kaldırır.

Link to this sectionUltralytics ile Kuantizasyon Uygulama#

Ultralytics kütüphanesi, dışa aktarma sürecini basitleştirerek geliştiricilerin en son teknoloji YOLO26 gibi modelleri kuantize edilmiş formatlara dönüştürmesine olanak tanır. Ultralytics Platform ayrıca bu dağıtımları sorunsuz bir şekilde yönetmek için araçlar sağlar.

Aşağıdaki örnek, INT8 kuantizasyonu etkinleştirilmiş bir modelin TFLite formatına nasıl dışa aktarılacağını gösterir. Bu süreç, modelin kuantize edilmiş değerler için optimum dinamik aralığı belirlemek amacıyla örnek verileri gözlemlediği bir kalibrasyon adımını içerir.

from ultralytics import YOLO

# Load a standard YOLO26 model
model = YOLO("yolo26n.pt")

# Export to TFLite format with INT8 quantization
# The 'int8' argument triggers Post-Training Quantization
# 'data' provides the calibration dataset needed for mapping values
model.export(format="tflite", int8=True, data="coco8.yaml")

Optimize edilmiş modeller, ONNX gibi birlikte çalışabilir standartlar veya OpenVINO gibi yüksek performanslı çıkarım motorları kullanılarak sıkça dağıtılır; bu da farklı donanım ekosistemlerinde geniş uyumluluk sağlar.