Bilgi Damıtımı

Bilgi Damıtımı, daha büyük, daha karmaşık bir "öğretmen" modelinin performansını yeniden üretmek için kompakt bir "öğrenci" modelinin eğitildiği model optimizasyonu ve makine öğrenimi (ML) tekniğidir. Temel fikir, güçlü ancak hantal öğretmen modelinden "bilgiyi" daha küçük, daha verimli öğrenci modeline aktarmaktır. Bu, uç cihazlar veya cep telefonları gibi kaynak kısıtlı ortamlarda, performansta önemli bir düşüş olmadan yüksek doğruluklu modellerin dağıtımına olanak tanır. Süreç, büyük, son teknoloji araştırma modelleri ile pratik, gerçek dünya model dağıtımı arasındaki boşluğu doldurur.

Bilgi Damıtımı Nasıl Çalışır

Genellikle büyük bir sinir ağı veya bir model topluluğu olan öğretmen modeli, öncelikle yüksek doğruluk elde etmek için büyük bir veri kümesi üzerinde eğitilir. Distilasyon sürecinde, öğrenci modeli öğretmenin çıktılarını taklit etmeye çalışarak öğrenir. Öğrenci, yalnızca eğitim verilerindeki gerçek etiketlerden öğrenmek yerine, öğretmenin her tahmin için tam olasılık dağılımları üzerinde de eğitilir ve bu dağılımlara genellikle "yumuşak etiketler" denir. Bu yumuşak etiketler, öğretmenin nasıl "düşündüğünü" ve genelleme yaptığını ortaya koyduğu için "sert etiketlerden" (doğru cevaplar) daha zengin bilgiler sağlar. Örneğin, bir öğretmen modeli bir kedi resminin %90 güvenle "kedi" olduğunu tahmin edebilir, ancak aynı zamanda "köpek" (%5) ve "tilki" (%2) için de küçük olasılıklar atayabilir. Bu incelikli bilgi, öğrenci modelinin daha etkili öğrenmesine yardımcı olur ve genellikle yalnızca sert etiketler üzerinde eğitilmesinden daha iyi genellemeye yol açar. Bu teknik, verimli modeller oluşturmak için kullanılan derin öğrenme araç setinin önemli bir parçasıdır.

Gerçek Dünya Uygulamaları

Bilgi Damıtımı, güçlü yapay zekayı erişilebilir kılmak için çeşitli alanlarda yaygın olarak kullanılmaktadır.

1. Doğal Dil İşleme (DDİ): BERT gibi büyük dil modelleri (LLM'ler) inanılmaz derecede güçlüdür, ancak birçok uygulama için çok büyüktür. DistilBERT, BERT'in damıtılmış bir versiyonunun ünlü bir örneğidir. BERT'in performansının %97'sinden fazlasını korurken %40 daha küçük ve %60 daha hızlıdır, bu da onu tüketici cihazlarında duygu analizi ve soru cevaplama gibi görevler için uygun hale getirir.
2. Uç Cihazlarda Bilgisayarlı Görü: Bilgisayarlı görüde, görüntü sınıflandırması veya nesne tespiti için büyük, yüksek doğruluklu bir model, daha küçük bir modele dönüştürülebilir. Bu, akıllı bir güvenlik kamerası için gerçek zamanlı kişi tespiti gibi karmaşık görme görevlerinin, Raspberry Pi gibi sınırlı işlem gücüne sahip donanımlarda doğrudan çalışmasını sağlayarak hızı ve veri gizliliğini artırır. YOLO11 gibi Ultralytics YOLO modelleri, daha büyük modellerden elde edilen bilgilerin daha küçük, dağıtılabilir versiyonların eğitimini bilgilendirebileceği bu tür iş akışlarının bir parçası olabilir.

Bilgi Damıtımı ve Diğer Optimizasyon Teknikleri

Bilgi Damıtımı, diğer model optimizasyon teknikleriyle ilişkili olmakla birlikte onlardan farklıdır. Projeniz için doğru yaklaşımı seçmek için farklılıkları anlamak önemlidir ve bu yaklaşım Ultralytics HUB gibi platformlar aracılığıyla yönetilebilir ve dağıtılabilir.

• Model Budaması: Bu teknik, boyutunu azaltmak için zaten eğitilmiş bir ağdan gereksiz veya daha az önemli bağlantıları (ağırlıkları) kaldırmayı içerir. Buna karşılık, damıtma, öğretmeni taklit etmek için sıfırdan tamamen yeni, daha küçük bir ağ eğitir.
• Model Nicelemesi: Niceleme, modelin ağırlıklarının sayısal duyarlılığını azaltır (örneğin, 32 bit kayan sayılardan 8 bit tamsayılara). Bu, modeli küçültür ve uyumlu donanımda hesaplamayı hızlandırabilir. Mevcut modelin temsilini değiştirir, oysa damıtma yeni bir model oluşturur. Niceleme genellikle damıtma veya budama ile birlikte kullanılır ve modeller ONNX gibi biçimlere aktarılabilir veya TensorRT gibi motorlarla optimize edilebilir.
• Transfer Öğrenimi: Bu, önceden eğitilmiş bir modelin parçalarının (genellikle özellik çıkaran omurgası) yeniden kullanılmasını ve ardından yeni, daha küçük bir veri kümesi üzerinde ince ayar yapılmasını içerir. Amaç, mevcut bir modeli yeni bir göreve uyarlamaktır. Öte yandan damıtma, bir öğretmenin tahmin davranışını, tamamen farklı bir mimariye sahip olabilen bir öğrenci modeline aktarmayı amaçlar.