Kuantalama Farkındalıklı Eğitim (QAT)

Niceleme Farkındalıklı Eğitim (QAT), bir sinir ağını (NN) daha düşük sayısal hassasiyetle dağıtıma hazırlayan gelişmiş bir model optimizasyon tekniğidir. 32-bit kayan nokta sayıları (FP32) kullanan standart eğitimin aksine, QAT eğitim veya ince ayar işlemi sırasında 8-bit tamsayı (INT8) hesaplamalarının etkilerini simüle eder. Modelin çıkarım sırasında karşılaşacağı niceleme hatalarının "farkında" olmasını sağlayarak, QAT modelin ağırlıklarını doğruluktaki potansiyel kaybı en aza indirecek şekilde ayarlamasına olanak tanır. Bu, kaynak kısıtlı donanımda dağıtım için ideal hale getiren, kompakt, verimli bir modelle sonuçlanır.

Kuantizasyon Farkındalıklı Eğitim Nasıl Çalışır

QAT süreci tipik olarak önceden eğitilmiş bir FP32 modeliyle başlar. Modelin mimarisine, kayan nokta değerlerini daha düşük hassasiyetli tamsayılara dönüştürme ve geri dönüştürme etkisini taklit eden "sahte" niceleme düğümleri eklenir. Model daha sonra bir eğitim veri kümesi üzerinde yeniden eğitilir. Bu yeniden eğitim aşamasında, model standart geri yayılım yoluyla nicelemeyle ilişkili bilgi kaybına uyum sağlamayı öğrenir. Bu, modelin azaltılmış hassasiyete daha az duyarlı, daha sağlam bir ağırlık kümesi bulmasını sağlar. PyTorch ve TensorFlow gibi önde gelen derin öğrenme çerçeveleri, QAT iş akışlarını uygulamak için güçlü araçlar ve API'ler sunar.

QAT - Eğitim Sonrası Niceleme Karşılaştırması

QAT genellikle başka bir yaygın model niceleme yöntemi olan Eğitim Sonrası Niceleme (PTQ) ile karşılaştırılır. Temel fark, nicelemenin ne zaman uygulandığında yatar.

• Eğitim Sonrası Kuantalama (PTQ): Bu yöntem, model tamamen eğitildikten sonra uygulanır. Yeniden eğitim veya orijinal eğitim verilerine erişim gerektirmeyen daha basit ve hızlı bir işlemdir. Ancak, özellikle hassas modeller için, model doğruluğunda önemli bir düşüşe yol açabilir.
• Kuantalama Farkındalıklı Eğitim (QAT): Bu yöntem, kuantalamayı eğitim döngüsüne entegre eder. Daha fazla işlem gücü gerektirmesine ve eğitim verilerine erişim gerektirmesine rağmen, QAT neredeyse her zaman son kuantalanmış model için PTQ'ya kıyasla daha yüksek doğruluk sağlar. Performansı en üst düzeye çıkarmak kritik olduğunda tercih edilen yöntemdir.

QAT'nin Gerçek Dünya Uygulamaları

Kuantalama Farkındalıklı Eğitim, verimliliğin önemli olduğu, kaynaklarla kısıtlı ortamlarda gelişmiş AI modellerini dağıtmak için hayati öneme sahiptir.

1. Cihaz Üzerinde Bilgisayarlı Görü: Gerçek zamanlı nesne tespiti gibi uygulamalar için akıllı telefonlarda doğrudan Ultralytics YOLOv8 gibi karmaşık bilgisayarlı görü modellerini çalıştırmak, artırılmış gerçeklik uygulamalarında veya fotoğraf yönetimi araçlarında görüntü sınıflandırması yapmak. QAT, bu modellerin önemli bir pil tüketimi veya gecikme olmadan verimli bir şekilde çalışmasını sağlar.
2. Otomotiv ve Robotikte Edge AI: Otonom araçlarda yaya algılama veya şerit takip yardımı gibi görevler için veya robotikte nesne manipülasyonu için modellerin dağıtılması. QAT, bu modellerin Google Edge TPU'ları veya NVIDIA Jetson gibi özel donanımlarda çalışmasını sağlayarak, kritik gerçek zamanlı kararlar için düşük çıkarım gecikmesi sağlar. Bu, güvenlik alarm sistemleri veya park yönetimi gibi uygulamalar için çok önemlidir.

Diğer Optimizasyon Teknikleriyle İlişkisi

QAT, model dağıtımı optimizasyonu için çeşitli tekniklerden biridir ve genellikle maksimum verimlilik için diğerleriyle birlikte kullanılır.

• Model Budaması: Ağdan gereksiz veya önemsiz bağlantıların kaldırılmasını içerir. Bir model önce budanabilir ve daha sonra daha da fazla sıkıştırma elde etmek için QAT'ye tabi tutulabilir.
• Bilgi Damıtımı (Knowledge Distillation): Daha küçük bir "öğrenci" modelini, daha büyük bir "öğretmen" modeli taklit edecek şekilde eğitir. Elde edilen öğrenci modeli daha sonra QAT kullanılarak daha da optimize edilebilir.

Ultralytics, modellerin ONNX, TensorRT ve TFLite gibi çeşitli formatlara aktarılmasını destekler. Bu formatlar, Intel ve NVIDIA gibi şirketlerin çeşitli donanımlarında verimli dağıtım sağlayan QAT iş akışlarıyla uyumludur. QAT ile optimize edilmiş modellerinizi Ultralytics HUB gibi platformları kullanarak yönetebilir ve dağıtabilirsiniz. Doğruluk gereksinimlerinin karşılandığından emin olmak için QAT'den sonra ilgili metrikleri kullanarak model performansını değerlendirmek önemlidir.