Niceleme Farkında Eğitim (QAT)

Quantization-Aware Training (QAT), bir sinir ağını (NN ) daha düşük sayısal hassasiyetle dağıtıma hazırlayan gelişmiş bir model optimizasyon tekniğidir. QAT, 32 bit kayan noktalı sayılar (FP32) kullanan standart eğitimin aksine, eğitim veya ince ayar işlemi sırasında 8 bit tamsayı (INT8) hesaplamalarının etkilerini simüle eder. QAT, modelin çıkarım sırasında karşılaşacağı niceleme hatalarının "farkında" olmasını sağlayarak, modelin doğruluktaki potansiyel kaybı en aza indirmek için ağırlıklarını ayarlamasına olanak tanır. Bu, yüksek performansı koruyan kompakt, verimli bir modelle sonuçlanır ve bu da onu kaynak kısıtlı donanımlarda dağıtım için ideal hale getirir.

Niceleme Farkında Eğitim Nasıl Çalışır?

QAT süreci tipik olarak önceden eğitilmiş bir FP32 modeliyle başlar. Modelin mimarisine, kayan nokta değerlerini daha düşük hassasiyetli tamsayılara ve geri dönüştürme etkisini taklit eden "sahte" niceleme düğümleri eklenir. Model daha sonra bir eğitim veri kümesi üzerinde yeniden eğitilir. Bu yeniden eğitim aşamasında model, standart geri yayılım yoluyla niceleme ile ilişkili bilgi kaybına uyum sağlamayı öğrenir. Bu, modelin azaltılmış hassasiyete daha az duyarlı olan daha sağlam bir ağırlık kümesi bulmasını sağlar. PyTorch ve TensorFlow gibi önde gelen derin öğrenme çerçeveleri, QAT iş akışlarını uygulamak için sağlam araçlar ve API'ler sunar.

QAT ve Eğitim Sonrası Niceleme

QAT genellikle bir başka yaygın model niceleme yöntemi olan Eğitim Sonrası Niceleme (PTQ) ile karşılaştırılır. Temel fark, niceleme işleminin ne zaman uygulandığında yatmaktadır.

• Eğitim Sonrası Niceleme (PTQ): Bu yöntem, model tamamen eğitildikten sonra uygulanır. Yeniden eğitim veya orijinal eğitim verilerine erişim gerektirmeyen daha basit ve hızlı bir süreçtir. Ancak, özellikle hassas modeller için bazen model doğruluğunda önemli bir düşüşe yol açabilir.
• Niceleme Farkında Eğitim (QAT): Bu yöntem niceleme işlemini eğitim döngüsüne entegre eder. Hesaplama açısından daha yoğun olmasına ve eğitim verilerine erişim gerektirmesine rağmen QAT, PTQ'ya kıyasla nihai nicelenmiş model için neredeyse her zaman daha yüksek doğrulukla sonuçlanır. Performansı en üst düzeye çıkarmanın kritik olduğu durumlarda tercih edilen yöntemdir.

QAT'nin Gerçek Dünya Uygulamaları

Quantization-Aware Training, verimliliğin önemli olduğu kaynak kısıtlı ortamlarda sofistike yapay zeka modellerini dağıtmak için hayati önem taşır.

1. Cihaz Üzerinde Bilgisayarla Görme: Artırılmış gerçeklik uygulamalarında gerçek zamanlı nesne algılama veya fotoğraf yönetim araçlarında görüntü sınıflandırma gibi uygulamalar için Ultralytics YOLOv8 gibi karmaşık bilgisayarla görme modellerini doğrudan akıllı telefonlarda çalıştırma. QAT, bu modellerin önemli ölçüde pil tüketimi veya gecikme olmadan verimli bir şekilde çalışmasını sağlar.
2. Otomotiv ve Robotikte Uç Yapay Zeka: Otonom araçlarda yaya algılama veya şeritte tutma yardımı gibi görevler için veya robotikte nesne manipülasyonu için modeller dağıtmak. QAT, bu modellerin Google Edge TPU 'lar veya NVIDIA Jetson gibi özel donanımlarda çalışmasını sağlayarak kritik gerçek zamanlı kararlar için düşük çıkarım gecikmesi sağlar. Bu, güvenlik alarm sistemleri veya park yönetimi gibi uygulamalar için çok önemlidir.

Diğer Optimizasyon Teknikleri ile İlişki

QAT, model dağıtım optimizasyonuna yönelik çeşitli tekniklerden biridir ve maksimum verimlilik için genellikle diğerleriyle birlikte kullanılır.

• Model Budama: Gereksiz veya önemsiz bağlantıların ağdan çıkarılmasını içerir. Bir model önce budanabilir ve ardından daha da fazla sıkıştırma elde etmek için QAT'ye tabi tutulabilir.
• Bilgi Damıtma: Daha büyük bir "öğretmen" modelini taklit etmek için daha küçük bir "öğrenci" modelini eğitir. Elde edilen öğrenci modeli daha sonra QAT kullanılarak daha da optimize edilebilir.

Ultralytics, modelleri QAT iş akışlarıyla uyumlu ONNX, TensorRT ve TFLite gibi çeşitli formatlara aktarmayı destekler ve Intel ve NVIDIA gibi şirketlerin çeşitli donanımlarında verimli dağıtım sağlar. QAT için optimize edilmiş modellerinizi Ultralytics HUB gibi platformları kullanarak yönetebilir ve dağıtabilirsiniz. QAT'den sonra ilgili metrikleri kullanarak model performansını değerlendirmek, doğruluk gereksinimlerinin karşılandığından emin olmak için çok önemlidir.