Parameter-Efficient Fine-Tuning (PEFT)

Parametre Verimli İnce Ayar (PEFT), büyük ve önceden eğitilmiş modelleri hesaplama maliyetlerini en aza indirerek belirli görevlere uyarlamayı sağlayan gelişmiş bir makine öğrenimi (ML) optimizasyon stratejisidir. Modern temel modeller milyarlarca parametre içerecek kadar büyüdükçe, ağdaki her ağırlığı güncelleyen geleneksel eğitim yöntemleri donanım ve enerji maliyetleri açısından aşırı pahalı hâle gelmiştir. PEFT, önceden eğitilmiş model ağırlıklarının büyük çoğunluğunu dondurup yalnızca küçük bir parametre alt kümesini güncelleyerek veya hafif bağdaştırıcı katmanları ekleyerek bu sorunu çözer. Bu yaklaşım, giriş engelini düşürür ve geliştiricilerin endüstriyel ölçekte veri merkezlerine ihtiyaç duymadan tüketici sınıfı GPU'larda son teknoloji sonuçlara ulaşmasını sağlar.

Verimliliğin İşleyişi#

PEFT'in temel ilkesi, modelin transfer öğrenimi kullanmasına dayanır. Böylece ImageNet gibi büyük ve herkese açık veri kümelerinden öğrenilmiş özellik temsilleri, yeni sorunları çözmek için kullanılır. Standart bir iş akışında model uyarlama, geri yayılımın sinir ağındaki her parametreyi ayarladığı "tam ince ayar" işlemini içerebilir.

LoRA (Düşük Dereceli Uyarlama) gibi PEFT teknikleri farklı bir yol izler. Modelin ağır "omurgasını" sabit tutarak genel bilgisini korur ve belirli katmanlara küçük, eğitilebilir matrisler ekler. Bu, modelin yeni bilgiler öğrenirken başlangıçtaki yeteneklerini kaybetmesi anlamına gelen felaket niteliğinde unutmayı önler. Eğitilebilir parametre sayısını %99'a kadar azaltan PEFT, depolama gereksinimlerini önemli ölçüde düşürür ve gerçek zamanlı çıkarım sırasında göreve özel birden fazla bağdaştırıcının tek bir temel modele eklenip çıkarılmasına olanak tanır.

Gerçek Dünya Uygulamaları#

PEFT, uç bilişimin ve veri gizliliğinin büyük önem taşıdığı sektörlerde özellikle değerlidir.

• Tarımda Yapay Zekâ: Tarım teknolojisi girişimleri, pil ömrü ve işlem gücü sınırlı dronlara sıklıkla model dağıtır. Mühendisler PEFT kullanarak YOLO26 gibi yüksek verimli bir modeli, sonbahar tırtılı gibi belirli bölgesel zararlıları algılamak üzere küçük bir özel veri kümesiyle ince ayardan geçirebilir. Omurga dondurulduğunda eğitim bir dizüstü bilgisayarda hızla tamamlanabilir ve ortaya çıkan model, cihaz üzerinde işleme için yeterince hafif kalır.
• Sağlık Hizmetlerinde Yapay Zekâ: Tıbbi görüntü analizinde açıklama eklenmiş veriler çoğu zaman azdır ve edinilmesi pahalıdır. Hastaneler, MRI taramalarındaki anomalileri belirlemek için genel amaçlı görü modellerini PEFT ile uyarlar. Temel parametreler dondurulduğundan model, küçük veri kümesinde aşırı öğrenmeye daha az eğilimlidir; böylece hasta verilerinin gizliliği korunurken tanı performansının güvenilir olması sağlanır.

Ultralytics ile Dondurulmuş Katmanları Uygulama#

Ultralytics ekosisteminde parametre verimliliği genellikle ağın başlangıç katmanlarının "dondurulmasıyla" sağlanır. Bu, sağlam özellik çıkarıcıların değişmeden kalmasını, yalnızca başlığın veya sonraki katmanların yeni sınıflara uyum sağlamasını garantiler. Bu yöntem, nesne algılama için PEFT ilkelerinin pratik bir uygulamasıdır.

Aşağıdaki örnekte, işlem kaynaklarından tasarruf etmek için omurganın ilk 10 katmanı dondurulurken Ultralytics YOLO26 modelinin nasıl eğitileceği gösterilmektedir:

from ultralytics import YOLO

# YOLO26 modelini yükle (en son kararlı sürüm)
model = YOLO("yolo26n.pt")

# 'freeze' bağımsız değişkeniyle özel veri kümesinde eğit
# freeze=10, yalnızca daha derin katmanları güncelleyerek ilk 10 katmanı sabit tutar
results = model.train(data="coco8.yaml", epochs=5, freeze=10)

Bu süreci ölçeklendirmek isteyen ekipler için Ultralytics Platform, veri kümelerini yönetmek, açıklama eklemeyi otomatikleştirmek ve bu verimli eğitim çalışmalarını buluttan izlemek için birleşik bir arayüz sunar.

PEFT'i İlgili Kavramlardan Ayırt Etme#

Doğru model uyarlama stratejisini seçmek için PEFT'i benzer terimlerden ayırt etmek faydalıdır:

• İnce Ayar: Genellikle "tam ince ayar" olarak adlandırılan bu süreçte modeldeki tüm parametreler güncellenir. En yüksek uyarlanabilirliği sunsa da hesaplama açısından pahalıdır ve her görev için modelin tam bir kopyasının kaydedilmesini gerektirir. PEFT, verimliliğe odaklanan bir ince ayar alt kategorisidir.
• İstem Mühendisliği: Modelin iç ağırlıklarını değiştirmeden çıktısını yönlendirmek için metin girdileri oluşturmayı kapsar. Buna karşılık PEFT, modelin verileri işleme biçimini kalıcı olarak değiştirmek üzere ağırlıkların veya bağdaştırıcıların bir alt kümesini matematiksel olarak değiştirir.
• Bilgi Damıtma: Bu teknikte küçük bir öğrenci model, büyük bir öğretmen modeli taklit edecek şekilde eğitilir. Verimli bir model ortaya çıkarsa da bu bir sıkıştırma yöntemidir; PEFT ise mevcut bir modele yeni beceriler kazandırmak için kullanılan bir uyarlama yöntemidir.

Yüksek performanslı yapay zekâya erişimi demokratikleştiren PEFT, geliştiricilerin süper bilgisayar altyapısına ihtiyaç duymadan otonom araçlar ve akıllı üretim için özel araçlar geliştirmesini sağlar.