Parameter-Efficient Fine-Tuning (PEFT)

Parametre Verimli İnce Ayar (PEFT), makine öğreniminde (ML) hesaplama maliyetlerini en aza indirirken büyük, önceden eğitilmiş modellerin belirli görevlere uyarlanmasını sağlayan gelişmiş bir optimizasyon stratejisidir. Modern temel modeller milyarlarca parametre içerecek şekilde büyüdükçe, ağdaki her ağırlığı güncelleyen geleneksel eğitim yöntemleri donanım ve enerji açısından karşılanamayacak kadar pahalı hâle gelmiştir. PEFT, önceden eğitilmiş model ağırlıklarının büyük çoğunluğunu dondurup parametrelerin yalnızca küçük bir alt kümesini güncelleyerek veya hafif adaptör katmanları ekleyerek bu sorunu çözer. Bu yaklaşım, giriş engelini azaltarak geliştiricilerin endüstriyel ölçekte veri merkezlerine ihtiyaç duymadan tüketici sınıfı GPU'lar üzerinde son teknoloji sonuçlara ulaşmasını sağlar.

Verimliliğin İşleyişi#

PEFT'in temel ilkesi, bir modelin ImageNet gibi büyük herkese açık veri kümelerinden öğrenilen özellik temsillerinden yararlanarak yeni sorunları çözdüğü transfer öğrenimine dayanır. Standart bir iş akışında, bir modeli uyarlamak, geri yayılımın sinir ağındaki her parametreyi ayarladığı "tam ince ayar" sürecini içerebilir.

LoRA (Düşük Sıralı Uyarlama) gibi PEFT teknikleri farklı bir yol izler. Modelin ağır "omurga"sını sabit tutarak genel bilgisini korur ve belirli katmanlara küçük, eğitilebilir matrisler ekler. Bu, bir modelin yeni bilgiler öğrenirken önceki yeteneklerini kaybettiği bir olgu olan [felaket düzeyinde unutmayı](https://ultralytics-translation-1.invalid önler. Eğitilebilir parametrelerin sayısını %99'a kadar azaltan PEFT, depolama gereksinimlerini önemli ölçüde düşürür ve gerçek zamanlı çıkarım sırasında tek bir temel modele birden fazla göreve özel adaptörün takılıp çıkarılmasına olanak tanır.

Gerçek Dünya Uygulamaları#

PEFT, uç bilişimin ve veri gizliliğinin büyük önem taşıdığı sektörlerde özellikle değerlidir.

• Tarımda Yapay Zekâ: Tarım teknolojisi girişimleri çoğu zaman sınırlı pil ömrüne ve işlem gücüne sahip dronlarda modeller çalıştırır. Mühendisler PEFT kullanarak YOLO26 gibi yüksek verimlilikli bir modeli alıp küçük bir özel veri kümesi kullanarak sonbahar tırtılı gibi belirli bölgesel zararlıları tespit edecek şekilde ince ayar yapabilir. Omurga dondurulduğundan eğitim bir dizüstü bilgisayarda hızlıca gerçekleştirilebilir ve ortaya çıkan model, cihaz üzerinde işleme için yeterince hafif kalır.
• Sağlık Hizmetlerinde Yapay Zekâ: Tıbbi görüntü analizinde etiketlenmiş veriler genellikle azdır ve elde edilmesi pahalıdır. Hastaneler, genel amaçlı görüntü modellerini MRI taramalarındaki anormallikleri belirleyecek şekilde uyarlamak için PEFT kullanır. Temel parametreler dondurulduğundan modelin küçük veri kümesine [aşırı uyum sağlama](https://ultralytics-translation-2.invalid olasılığı azalır; böylece hasta verilerinin gizliliği korunurken güvenilir tanısal performans sağlanır.

Ultralytics ile Dondurulmuş Katmanları Uygulama#

Ultralytics ekosisteminde parametre verimliliği çoğu zaman bir ağın ilk katmanlarının "dondurulmasıyla" elde edilir. Bu, güçlü özellik çıkarıcıların değişmeden kalmasını ve yalnızca başlığın veya sonraki katmanların yeni sınıflara uyum sağlamasını güvence altına alır. Bu, PEFT ilkelerinin nesne tespiti için pratik bir uygulamasıdır.

Aşağıdaki örnek, hesaplama kaynaklarından tasarruf etmek amacıyla omurganın ilk 10 katmanını dondururken bir Ultralytics YOLO26 modelinin nasıl eğitileceğini gösterir:

from ultralytics import YOLO

# Load the YOLO26 model (latest stable version)
model = YOLO("yolo26n.pt")

# Train on a custom dataset with the 'freeze' argument
# freeze=10 keeps the first 10 layers static, updating only deeper layers
results = model.train(data="coco8.yaml", epochs=5, freeze=10)

Bu süreci ölçeklendirmek isteyen ekipler için Ultralytics Platformu, veri kümelerini yönetmek, açıklamaları otomatikleştirmek ve bu verimli eğitim çalışmalarını buluttan izlemek için birleşik bir arayüz sunar.

PEFT'i İlgili Kavramlardan Ayırt Etme#

Doğru model uyarlama stratejisini seçmek için PEFT'i benzer terimlerden ayırt etmek yararlıdır:

• İnce Ayar: Genellikle "tam ince ayar" olarak adlandırılan bu süreç, modeldeki tüm parametreleri günceller. En yüksek esnekliği sunsa da hesaplama açısından pahalıdır ve her görev için modelin tam bir kopyasının kaydedilmesini gerektirir. PEFT, verimliliğe odaklanan bir ince ayar alt kategorisidir.
• İstem Mühendisliği: Bu yöntem, dahili ağırlıkları değiştirmeden modelin çıktısını yönlendirmek için metin girdileri oluşturmaktır. Buna karşılık PEFT, modelin verileri işleme biçimini kalıcı olarak değiştirmek için ağırlıkların veya adaptörlerin bir alt kümesini matematiksel olarak değiştirir.
• Bilgi Damıtma: Bu teknik, büyük bir öğretmen modeli taklit etmesi için küçük bir öğrenci modeli eğitir. Verimli bir model ortaya çıkarsa da bu bir sıkıştırma yöntemidir; PEFT ise mevcut bir modele yeni beceriler öğretmek için kullanılan bir uyarlama yöntemidir.

Yüksek performanslı yapay zekâya erişimi demokratikleştiren PEFT, geliştiricilerin süper bilgisayar altyapısına ihtiyaç duymadan otonom araçlar ve akıllı üretim için uzmanlaşmış araçlar geliştirmesine olanak tanır.