Parameter-Efficient Fine-Tuning (PEFT)

Parametre Verimli İnce Ayar (PEFT), makine öğrenimi (ML) alanında büyük, önceden eğitilmiş modellerin belirli görevlere göre özelleştirilmesini sağlarken hesaplama maliyetlerini en aza indiren sofistike bir optimizasyon stratejisidir. Modern temel modeller milyarlarca parametreyi kapsayacak şekilde büyüdüğü için, ağdaki her ağırlığı güncelleyen geleneksel eğitim yöntemleri donanım ve enerji açısından aşırı maliyetli hale gelmiştir. PEFT, önceden eğitilmiş model ağırlıklarının büyük çoğunluğunu dondurup yalnızca küçük bir parametre alt kümesini güncelleyerek veya hafif bağdaştırıcı katmanları ekleyerek bu sorunu çözer. Bu yaklaşım giriş engelini düşürerek geliştiricilerin endüstriyel ölçekte veri merkezlerine ihtiyaç duymadan tüketici sınıfı GPU'lar üzerinde en son teknoloji sonuçlar elde etmelerini sağlar.

Link to this sectionVerimliliğin Mekaniği#

The core principle of PEFT relies on transfer learning, where a model leverages feature representations learned from massive public datasets like ImageNet to solve new problems. In a standard workflow, adapting a model might involve "full fine-tuning," where backpropagation adjusts every parameter in the neural network.

LoRA (Düşük Dereceli Adaptasyon) gibi PEFT teknikleri farklı bir yol izler. Modelin ağır "omurgasını" statik tutarak genel bilgisini korur ve belirli katmanlara küçük, eğitilebilir matrisler eklerler. Bu, modelin yeni bilgiler öğrenirken orijinal yeteneklerini kaybettiği bir olgu olan yıkıcı unutmayı önler. Eğitilebilir parametre sayısını %99'a kadar azaltarak PEFT, depolama gereksinimlerini önemli ölçüde düşürür ve gerçek zamanlı çıkarım sırasında tek bir temel modele birden fazla göreve özel bağdaştırıcının eklenip çıkarılmasına olanak tanır.

Link to this sectionGerçek Dünya Uygulamaları#

PEFT, uç bilişimin ve veri gizliliğinin çok önemli olduğu endüstrilerde özellikle değerlidir.

• Tarımda Yapay Zeka: Tarım teknolojisi girişimleri genellikle modelleri sınırlı pil ömrüne ve işlem gücüne sahip drone'larda kullanır. PEFT kullanarak mühendisler, YOLO26 gibi son derece verimli bir modeli alıp küçük bir özel veri kümesi kullanarak sonbahar tırtılı gibi belirli bölgesel zararlıları tespit edecek şekilde ince ayarlayabilirler. Omurgayı dondurarak eğitim hızlı bir şekilde dizüstü bilgisayarda gerçekleştirilebilir ve elde edilen model cihaz üzerinde işleme için yeterince hafif kalır.
• Sağlık Sektöründe Yapay Zeka: Tıbbi görüntü analizinde, açıklamalı veriler genellikle kıt ve elde edilmesi pahalıdır. Hastaneler, genel amaçlı görme modellerini MRI taramalarındaki anomalileri tanımlamak için uyarlamak amacıyla PEFT kullanır. Temel parametreler dondurulduğu için model küçük veri kümesinde aşırı öğrenmeye daha az eğilimlidir, bu da hasta verilerinin gizliliğini korurken sağlam bir tanı performansı sağlar.

Link to this sectionUltralytics ile Dondurulmuş Katmanları Uygulama#

Ultralytics ekosisteminde parametre verimliliği genellikle bir ağın ilk katmanlarının "dondurulmasıyla" elde edilir. Bu, güçlü öznitelik çıkarıcıların değişmeden kalmasını sağlarken yalnızca baş kısmın veya sonraki katmanların yeni sınıflara uyum sağlamasına olanak tanır. Bu, nesne tespiti için PEFT ilkelerinin pratik bir uygulamasıdır.

Aşağıdaki örnek, hesaplama kaynaklarından tasarruf etmek için omurganın ilk 10 katmanını dondururken bir YOLO26 modelinin nasıl eğitileceğini göstermektedir:

from ultralytics import YOLO

# Load the YOLO26 model (latest stable version)
model = YOLO("yolo26n.pt")

# Train on a custom dataset with the 'freeze' argument
# freeze=10 keeps the first 10 layers static, updating only deeper layers
results = model.train(data="coco8.yaml", epochs=5, freeze=10)

Bu süreci ölçeklendirmek isteyen ekipler için Ultralytics Platform, veri kümelerini yönetmek, etiketlemeyi otomatikleştirmek ve bu verimli eğitim süreçlerini buluttan izlemek için birleşik bir arayüz sunar.

Link to this sectionPEFT'i İlgili Kavramlardan Ayırma#

Doğru model uyarlama stratejisini seçmek için PEFT'i benzer terimlerden ayırmak faydalıdır:

• İnce Ayar: Genellikle "tam ince ayar" olarak adlandırılan bu süreç, modeldeki tüm parametreleri günceller. Maksimum esneklik sunsa da hesaplama açısından pahalıdır ve her görev için modelin tam bir kopyasının kaydedilmesini gerektirir. PEFT, verimliliğe odaklanan bir ince ayar alt kategorisidir.
• İstem Mühendisliği: Bu, herhangi bir iç ağırlığı değiştirmeden modelin çıktısını yönlendirmek için metin girişleri oluşturmayı içerir. PEFT ise aksine, modelin verileri işleme biçimini kalıcı olarak değiştirmek için ağırlıkların veya bağdaştırıcıların bir alt kümesini matematiksel olarak değiştirir.
• Bilgi Damıtma: Bu teknik, büyük bir öğretmen modelini taklit etmek için küçük bir öğrenci modeli eğitir. Verimli bir modelle sonuçlansa da bu bir sıkıştırma yöntemidir; PEFT ise mevcut bir modele yeni beceriler öğretmek için kullanılan bir uyarlama yöntemidir.

Yüksek performanslı yapay zekaya erişimi demokratikleştiren PEFT, geliştiricilerin süper bilgisayar altyapısına ihtiyaç duymadan otonom araçlar ve akıllı üretim için özel araçlar oluşturmasına olanak tanır.