Knowledge Distillation

Bilgi damıtma, "öğrenci" olarak adlandırılan kompakt bir sinir ağının, "öğretmen" olarak bilinen daha büyük ve karmaşık bir ağın davranışını ve performansını taklit edecek şekilde eğitildiği, makine öğrenimi alanında gelişmiş bir tekniktir. Bu sürecin temel amacı, geliştiricilerin ağır mimarilerin tahmin yeteneklerini kaynak kısıtlı donanımlarda dağıtım için uygun olan hafif modellere aktarmasına olanak tanıyan model optimizasyonudur. Öğretmenin tahminlerinde kodlanmış zengin bilgileri yakalayarak, öğrenci model genellikle yalnızca ham veriler üzerinde eğitilmesine kıyasla önemli ölçüde daha yüksek doğruluk değerlerine ulaşır ve böylece yüksek performans ile verimlilik arasındaki boşluğu etkili bir şekilde kapatır.

Link to this sectionBilgi Aktarımının Mekanizması#

Geleneksel denetimli öğrenmede, modeller bir görüntünün kesin olarak kategorize edildiği (örneğin, %100 "köpek" ve %0 "kedi") eğitim verilerinden gelen "sert etiketler" kullanılarak eğitilir. Ancak, önceden eğitilmiş bir öğretmen model, tüm sınıflara olasılıklar atayan bir softmax fonksiyonu aracılığıyla çıktı üretir. Bu olasılık dağılımları "yumuşak etiketler" veya "karanlık bilgi" olarak bilinir.

For instance, if a teacher model analyzes an image of a wolf, it might predict 90% wolf, 9% dog, and 1% cat. This distribution reveals that the wolf shares visual features with a dog, context that a hard label ignores. During the distillation process, the student minimizes a loss function, such as the Kullback-Leibler divergence, to align its predictions with the teacher's soft labels. This method, popularized by Geoffrey Hinton's research, helps the student generalize better and reduces overfitting on smaller datasets.

Link to this sectionGerçek Dünya Uygulamaları#

Bilgi damıtma, hesaplama kaynaklarının kıt olduğu ancak yüksek performansın vazgeçilmez olduğu sektörlerde çok önemlidir.

• Uç Yapay Zeka ve Mobil Görü İşleme: Akıllı telefonlarda veya IoT cihazlarında karmaşık nesne algılama görevlerini çalıştırmak, düşük çıkarım gecikmesine sahip modeller gerektirir. Mühendisler, devasa ağları YOLO26 (özellikle nano veya küçük varyantlar) gibi mobil dostu mimarilere damıtır. Bu, yüz tanıma veya artırılmış gerçeklik filtreleri gibi gerçek zamanlı uygulamaların pil ömrünü tüketmeden sorunsuz çalışmasını sağlar.
• Doğal Dil İşleme (NLP): Modern büyük dil modelleri (LLM'ler), çalışmak için devasa GPU kümelerine ihtiyaç duyar. Damıtma, geliştiricilerin bu modellerin temel dil modelleme yeteneklerini koruyan daha küçük ve daha hızlı sürümlerini oluşturmalarına olanak tanır. Bu, duyarlı sohbet botlarının ve sanal asistanların standart tüketici donanımlarında veya daha basit bulut örneklerinde dağıtılmasını mümkün kılar.

Link to this sectionİlgili Optimizasyon Terimlerini Ayırt Etme#

Bilgi damıtmayı diğer sıkıştırma stratejilerinden ayırt etmek önemlidir, çünkü bunlar modelleri temelden farklı şekillerde değiştirirler.

• Transfer Öğrenme: Bu teknik, geniş bir kıyaslama veri kümesi üzerinde önceden eğitilmiş bir modelin alınmasını ve yeni, belirli bir göreve uyarlanmasını (örneğin, genel bir görüntü sınıflandırıcısının tıbbi anormallikleri tespit edecek şekilde ince ayar yapılması) içerir. Damıtma ise, alanı değiştirmek yerine aynı bilgiyi daha küçük bir forma sıkıştırmaya odaklanır.
• Model Budama: Budama, mevcut eğitilmiş bir ağı seyrek hale getirmek için gereksiz bağlantıları veya nöronları fiziksel olarak kaldırır. Damıtma ise genellikle öğretmenin rehberliğinde sıfırdan tamamen ayrı, daha küçük bir öğrenci mimarisinin eğitilmesini içerir.
• Model Quantization: Quantization reduces the precision of a model's weights (e.g., from 32-bit floating-point to 8-bit integers) to save memory and speed up calculation. This is often a final step in model deployment compatible with engines like TensorRT or OpenVINO, and can be combined with distillation for maximum efficiency.

Link to this sectionBir Öğrenci Model Uygulama#

Pratik bir iş akışında, önce öğrenci olarak hizmet verecek hafif bir mimari seçersin. Ultralytics Platform, veri kümelerini yönetmek ve bu verimli modellerin eğitim deneylerini takip etmek için kullanılabilir. Aşağıda, uç dağıtım için ideal olan ve öğrenci ağı olarak hizmet veren kompakt bir YOLO26 modeli başlatma örneği yer almaktadır:

from ultralytics import YOLO

# Load a lightweight YOLO26 nano model (acts as the student)
# The 'n' suffix denotes the nano version, optimized for speed
student_model = YOLO("yolo26n.pt")

# Train the model on a dataset
# In a custom distillation loop, the loss would be influenced by a teacher model
results = student_model.train(data="coco8.yaml", epochs=5, imgsz=640)