Parameter-Efficient Fine-Tuning (PEFT)

Parameter-Efficient Fine-Tuning (PEFT), hesaplama maliyetlerini en aza indirirken büyük, önceden eğitilmiş modellerin belirli görevlere göre özelleştirilmesini sağlayan machine learning (ML) alanında gelişmiş bir optimizasyon stratejisidir. Modern foundation models milyarlarca parametreyi kapsayacak şekilde büyüdükçe, ağdaki her ağırlığı güncelleyen geleneksel eğitim yöntemleri donanım ve enerji açısından son derece pahalı hale gelmiştir. PEFT, önceden eğitilmiş model weights büyük çoğunluğunu dondurarak ve yalnızca küçük bir parametre alt kümesini güncelleyerek veya hafif adaptör katmanları ekleyerek bu zorluğun üstesinden gelir. Bu yaklaşım giriş bariyerini düşürerek geliştiricilerin endüstriyel ölçekte veri merkezlerine ihtiyaç duymadan tüketici sınıfı GPUs üzerinde son teknoloji sonuçlar elde etmesini sağlar.

Verimliliğin Mekaniği#

PEFT'in temel prensibi, bir modelin yeni sorunları çözmek için ImageNet gibi devasa kamu veri kümelerinden öğrenilen özellik temsillerinden yararlandığı transfer learning dayanır. Standart bir iş akışında, bir modeli uyarlamak, backpropagation neural network içindeki her parametreyi ayarladığı "tam ince ayar" (full fine-tuning) sürecini içerebilir.

LoRA (Low-Rank Adaptation) gibi PEFT teknikleri farklı bir yol izler. Modelin ağır "omurgasını" (backbone) statik tutarak genel bilgisini korur ve belirli katmanlara küçük, eğitilebilir matrisler enjekte eder. Bu, bir modelin yeni bilgileri öğrenirken orijinal yeteneklerini kaybetmesi olgusu olan catastrophic forgetting önler. Eğitilebilir parametre sayısını %99'a varan oranlarda azaltarak, PEFT depolama gereksinimlerini önemli ölçüde düşürür ve real-time inference sırasında tek bir temel model içine birden fazla görev odaklı adaptörün eklenip çıkarılmasına olanak tanır.

Gerçek Dünya Uygulamaları#

PEFT, uç bilişimin ve veri gizliliğinin çok önemli olduğu endüstrilerde özellikle değerlidir.

• AI in Agriculture: Tarım teknolojisi girişimleri genellikle sınırlı pil ömrüne ve işlem gücüne sahip dronlar üzerinde modeller çalıştırır. Mühendisler PEFT kullanarak YOLO26 gibi son derece verimli bir modeli alabilir ve küçük bir custom dataset kullanarak sonbahar kesici kurdu gibi belirli bölgesel zararlıları tespit etmek için ince ayar yapabilirler. Omurgayı dondurarak eğitim dizüstü bilgisayarda hızlı bir şekilde gerçekleştirilebilir ve ortaya çıkan model yerleşik işleme için yeterince hafif kalır.
• AI in Healthcare: medical image analysis alanında, etiketlenmiş veriler genellikle kıttır ve elde edilmesi pahalıdır. Hastaneler, genel amaçlı görme modellerini MRI taramalarındaki anormallikleri belirleyecek şekilde uyarlamak için PEFT kullanır. Temel parametreler dondurulduğundan, model küçük veri kümesi üzerinde overfitting daha az eğilimlidir ve hasta verilerinin gizliliğini korurken sağlam bir tanı performansı sağlar.

Ultralytics ile Dondurulmuş Katmanları Uygulama#

Ultralytics ekosisteminde parametre verimliliği genellikle bir ağın ilk katmanlarının "dondurulmasıyla" elde edilir. Bu, yalnızca baş (head) veya sonraki katmanlar yeni sınıflara uyarlanırken güçlü özellik çıkarıcıların değişmeden kalmasını sağlar. Bu, object detection için PEFT ilkelerinin pratik bir uygulamasıdır.

Aşağıdaki örnek, bilgi işlem kaynaklarından tasarruf etmek için omurgasının ilk 10 katmanını dondurarak bir Ultralytics YOLO26 modelinin nasıl eğitileceğini göstermektedir:

from ultralytics import YOLO

# Load the YOLO26 model (latest stable version)
model = YOLO("yolo26n.pt")

# Train on a custom dataset with the 'freeze' argument
# freeze=10 keeps the first 10 layers static, updating only deeper layers
results = model.train(data="coco8.yaml", epochs=5, freeze=10)

Bu süreci ölçeklendirmek isteyen ekipler için Ultralytics Platform, veri kümelerini yönetmek, etiketlemeyi otomatikleştirmek ve bu verimli eğitim süreçlerini buluttan izlemek için birleşik bir arayüz sunar.

PEFT'i İlgili Kavramlardan Ayırma#

Doğru model uyarlama stratejisini seçmek için PEFT'i benzer terimlerden ayırmak faydalıdır:

• Fine-Tuning: Genellikle "tam ince ayar" olarak adlandırılan bu süreç, modeldeki tüm parametreleri günceller. Maksimum plastisite sunarken, hesaplama açısından pahalıdır ve her görev için modelin tam bir kopyasının kaydedilmesini gerektirir. PEFT, verimliliğe odaklanan bir ince ayar alt kategorisidir.
• Prompt Engineering: Bu, herhangi bir dahili ağırlığı değiştirmeden bir modelin çıktısını yönlendirmek için metin girdileri hazırlamayı içerir. Buna karşılık PEFT, modelin verileri işleme biçimini kalıcı olarak değiştirmek için bir ağırlık veya adaptör alt kümesini matematiksel olarak değiştirir.
• Knowledge Distillation: Bu teknik, büyük bir öğretmen modeli taklit etmek için küçük bir öğrenci modeli eğitir. Verimli bir modelle sonuçlanırken bir sıkıştırma yöntemidir, oysa PEFT mevcut bir modele yeni beceriler öğretmek için kullanılan bir uyarlama yöntemidir.

Yüksek performanslı yapay zekaya erişimi demokratikleştirerek PEFT, geliştiricilerin süper bilgisayar altyapısına ihtiyaç duymadan autonomous vehicles ve smart manufacturing için özel araçlar oluşturmasına olanak tanır.