Bilgi Damıtımı

Bilgi Damıtma sofistike bir yöntemdir model optimizasyon stratejisi kompakt bir makine öğrenimi "öğrenci" modeli daha büyük, daha karmaşık bir modelin performansını ve davranışını yeniden üretmek üzere eğitilir "öğretmen" modeli. Öncelikli hedef, genelleme yeteneklerini ve "bilgiyi" aktarmaktır. ağır öğretmen ağından daha hafif öğrenci ağına. Bu süreç, yüksek doğruluk oranına sahip gibi kaynak kısıtlı donanımlar üzerindeki modeller zarar görmeden uç bilişim cihazları Genellikle daha küçük mimarilere eşlik eden doğrulukta önemli düşüşler. Bilgileri sıkıştırarak, geliştiriciler daha hızlı çıkarım gecikmesi ve daha düşük Güçlü tahmin gücünü korurken bellek kullanımı.

Bilgi Damıtımı Nasıl Çalışır

Süreç "yumuşak etiket" kavramına dayanmaktadır. Standart olarak denetimli öğrenme, modeller aşağıdakiler üzerinde eğitilir Eğitim verilerinden "zor etiketler" (örn, bir görüntü %100 "kedi" ve %0 "köpek "tir). Ancak, önceden eğitilmiş bir öğretmen modeli şunları üretir tüm sınıflar arasında yumuşak etiketler olarak bilinen olasılık dağılımları. Örneğin, öğretmen bir görüntüyü tahmin edebilir 90 kedi, %9 köpek ve %1 arabadır. Bu yumuşak etiketler, kediler ve köpekler arasındaki ilişkiler hakkında zengin bilgiler içerir. sınıfları- belirli bir kedinin bir şekilde köpeğe benzediğini gösterir.

Damıtma sırasında öğrenci modeli, tahminleri ile öğretmenin tahminleri arasındaki farkı en aza indirecek şekilde eğitilir. yumuşak etiketler, genellikle belirli bir Kullback-Leibler sapması gibi kayıp fonksiyonları. Bu öğrencinin "karanlık bilgiyi" veya öğretmenin sahip olduğu verilerin nüanslı yapısını öğrenmesini sağlar zaten keşfedilmiştir. Temel bir anlayış için, araştırmacılar genellikle aşağıdakilere başvurur Geoffrey Hinton'ın konuyla ilgili ufuk açıcı makalesi.

Kütüphaneler genellikle karmaşık kayıp hesaplamalarını dahili olarak ele alırken, eğitim için bir öğrenci modelinin başlatılması ilk pratik adımdır. Hafif bir öğrenci modelini şu şekilde yükleyebilirsiniz YOLO11 kullanarak ultralytics Paket:

from ultralytics import YOLO

# Load a lightweight student model (YOLO11n)
# 'n' stands for nano, the smallest and fastest version
student_model = YOLO("yolo11n.pt")

# Train the student model on a dataset
# In a distillation workflow, this training would be guided by a teacher model's outputs
results = student_model.train(data="coco8.yaml", epochs=5, imgsz=640)

Gerçek Dünya Uygulamaları

Bilgi Damıtma, verimliliğin doğruluk kadar kritik olduğu sektörlerde çok önemlidir.

• Mobil Bilgisayar Görüşü: Gerektiren senaryolarda gerçek zamanlı çıkarım, örneğin otonom drone'lar veya akıllı telefonlardaki artırılmış gerçeklik uygulamaları, devasa modelleri dağıtmak mümkün değildir. Mühendisler büyük nesne algılama modellerinin verimli sürümlere dönüştürülmesi YOLO11n gibi. Bu, uygulamanın aşağıdaki gibi mobil işlemcilerde sorunsuz çalışmasını sağlar Qualcomm Snapdragon bataryayı tüketmeden, aynı zamanda nesneleri doğru şekilde tanımlama.
• Doğal Dil İşleme (NLP): Büyük Dil Modelleri (LLM'ler) genellikle doğrudan dil işleme için çok hantaldır. dağıtım. Distilasyon, DistilBERT gibi daha küçük, daha hızlı versiyonlar oluşturmak için kullanılır. dil modelleme yetenekleri daha büyük karşıtları. Bu, sesli asistanların ve sohbet robotlarının daha düşük gecikmeyle çalışmasını sağlayarak daha iyi bir kullanıcı deneyim.

İlgili Optimizasyon Terimlerini Ayırt Etme

Bilgi Damıtmayı, model verimliliğini artırmak için kullanılan diğer tekniklerden ayırmak önemlidir, çünkü farklı prensiplere göre çalışırlar.

• Model Budama: Bu teknik azaltmak için mevcut eğitimli bir ağdan gereksiz nöronların veya bağlantıların (ağırlıklar) fiziksel olarak kaldırılmasını içerir. boyutunu değiştirir. Sıfırdan yeni bir öğrenci mimarisi eğiten damıtmanın aksine, budama yapıyı değiştirir orijinal modelin.
• Model Niceleme: Niceleme, modelin sayısal ağırlıklarının hassasiyetini azaltır, örneğin 32 bit kayan noktayı sayıları 8 bitlik tam sayılara dönüştürür. Bu, model boyutunu küçültür ve aşağıdaki gibi donanımlarda hesaplamayı hızlandırır TPU'lar ancak mutlaka değişmez ağ mimarisi.
• Transfer Öğrenimi: Bu yaklaşımı, önceden eğitilmiş bir modelin alınmasını ve Farklı bir görev için yeni bir veri kümesi üzerinde ince ayar yapmak. Her ikisi de bilgi aktarımını içerirken, transfer öğrenmesi alan adaptasyonu ile ilgilidir (örn. X-ışınları), damıtma ise aynı görev bilgisini büyük bir modelden daha küçük bir modele sıkıştırmaya odaklanır.

Bu teknikleri birleştirerek - örneğin, bir öğretmeni bir öğrenciye damıtarak, ardından niceleme uygulayarak - geliştiriciler gömülü sistemlerde performansı en üst düzeye çıkarabilir.