Parameter-Efficient Fine-Tuning (PEFT)

Parametre açısından verimli ince ayar (PEFT), bir ağı yalnızca parametrelerinin küçük bir bölümünü eğiterek yeni bir göreve uyarlar. Bu bölüm, ağa eklenen birkaç yeni parametreden veya mevcut parametrelerin seçilmiş bir alt kümesinden oluşabilir; geri kalan model ağırlıkları dondurulmuş kalır. Tam ince ayar, her ağırlığı günceller. Bu, 7 milyar parametreli bir büyük dil modeli (LLM) için 7 milyar değerin tümüne ait gradyanları ve iyileştirici durumunu bellekte tutmak ve her görev için modelin eksiksiz bir kopyasını kaydetmek anlamına gelir. PEFT yöntemleri genellikle parametrelerin %1'inden azını eğitir; böylece bir temel model tek bir GPU üzerinde uyarlanabilir ve her yeni görev, başka bir tam kontrol noktası yerine küçük bir eğitilmiş parametre dosyası ekler. Hugging Face'in PEFT kitaplığı, transformatör modelleri için en yaygın yöntemleri uygular.

PEFT Nasıl Çalışır#

PEFT, aktarım öğreniminden yararlanır: geniş kapsamlı veriler üzerinde önceden eğitilmiş bir model genel özellikleri zaten kodladığından, modeli ilgili bir göreve uyarlamak, modeli eğitmekten çok daha az değişiklik gerektirir. Yöntemler, hangi parametrelerin eğitildiğine bağlı olarak üç aileye ayrılır.

Eklemeli yöntemler, dondurulmuş ağa yeni eğitilebilir modüller veya girdiler ekler. Adaptörler, her transformatör bloğunun içine küçük darboğaz katmanları ekler ve görev başına %3,6 parametre ekleyerek GLUE dil kıyaslamasında tam ince ayarın %0,4 yakınına ulaştı. İstem ayarı ve önek ayarı, girdinin veya her katmanın aktivasyonlarının başına eklenen birkaç sürekli vektörü öğrenir.

Seçici yöntemler, mevcut ağırlıkların belirli bir alt kümesini eğitir. Omurgayı dondurup yalnızca sonraki katmanları eğitmek en basit biçimidir; BitFit ise yalnızca önyargı terimlerini eğitir.

Yeniden parametreleştirme yöntemleri, dondurulmuş ağırlık matrislerine yönelik sıkıştırılmış bir güncelleme öğrenir. LoRA, her güncellemeyi düşük ranklı iki matrisin çarpımı olarak ifade eder; GPT-3 175B modeline tam ince ayarla karşılaştırıldığında eğitilebilir parametreleri 10.000 kat, GPU belleğini ise 3 kat azalttı. QLoRA, 4 bitlik kuantize temel modelin üzerine LoRA adaptörlerini eğitir. DoRA ise her ağırlığı büyüklük ve yön olarak ayırır, ardından yönü LoRA ile uyarlar.

Görevler arasında yalnızca az sayıdaki eğitilmiş parametre farklı olduğundan, temel modelin tek bir kopyası aynı anda birçok göreve hizmet edebilir. Bir sunucu, dondurulmuş temel modeli bellekte tutar ve her isteğe uygun adaptörü uygular. S-LoRA gibi sistemler binlerce LoRA adaptörüne bu şekilde hizmet verir:

Avantajlar ve Ödünleşimler#

Gradyanlar ve iyileştirici durumu yalnızca eğitilen parametreler için gerektiğinden bellek kullanımı önemli ölçüde azalır; ancak dondurulmuş ağırlıklar ve aktivasyonlar yine de GPU belleğine sığmalıdır. Önceden eğitilmiş ağırlıkları sabit tutmak, küçük veri kümelerinde aşırı uyumu ve modelin özgün becerilerini felaket düzeyinde unutmasını da sınırlar. Bunun karşılığında kapasite azalır: LoRA Daha Az Öğrenir ve Daha Az Unutur başlıklı bir çalışmada LoRA, programlama ve matematik alanlarında tam ince ayarın gerisinde kalırken temel modelin bu alanların dışındaki görevlerdeki performansının daha fazlasını korudu.

Bilgisayarlı Görüde PEFT#

Görüntü transformatörleri de aynı yöntemlerle uyarlanır. Görsel İstem Ayarı, dondurulmuş bir ViT için ek girdi belirteçleri öğrenir ve parametrelerin %1'inden azını eğitir; testlerinin çoğunda tam ince ayardan daha iyi performans gösterdi. LoRA adaptörleri ise Stable Diffusion modelini yeni bir tarza veya özneye uyarlar. Evrişimli nesne algılama modellerinde dondurma, standart seçici yaklaşımdır. Ultralytics YOLO26 eğitiminde, freeze bağımsız değişkeni ilk N katmanın gradyan güncellemelerini durdurur ve yığın normalleştirme istatistiklerini de sabitler. freeze=11, 0'dan 10'a kadar olan katmanları, yani YOLO26'nın tüm omurgasını kapsar; böylece yalnızca boyun ve algılama başlığı eğitilir:

from ultralytics import YOLO

# COCO üzerinde önceden eğitilmiş YOLO26n ağırlıklarını yükle
model = YOLO("yolo26n.pt")

# 0-10. katmanları (omurgayı) dondur ve yalnızca boyun ile algılama başlığını eğit
results = model.train(data="coco8.yaml", epochs=5, freeze=11)

Eğitim günlüğü, ilk dönem başlamadan önce her dondurulmuş parametreyi Freezing layer satırında listeler.

PEFT ve İlgili Terimler#

• Tam ince ayar: Her ağırlığı günceller; bu, en yüksek uyarlama kapasitesini sağlar ancak en fazla belleği ve görev başına tam bir model kopyasını gerektirir. PEFT, hangi parametrelerin değişeceğini kısıtlayan bir ince ayar biçimidir.
• Doğrusal sondalama: Dondurulmuş özellikler üzerinde yalnızca doğrusal bir sınıflandırıcı eğitir; bu, en kısıtlayıcı seçici yöntemdir ve çoğunlukla önceden eğitilmiş bir temsilin neleri yakaladığını ölçmek için kullanılır.
• İstem mühendisliği: Bir modelin davranışını, girdisine elle yazılmış metin ekleyerek değiştirir ve hiçbir şeyi eğitmez. İstem ayarı, sürekli istem vektörlerini gradyan inişiyle öğrenir.
• Bilgi damıtma: Daha küçük bir öğrenci modeli, daha büyük bir öğretmen modeli taklit edecek şekilde eğitir ve böylece modeli sıkıştırır; PEFT ise mevcut bir modeli yeni bir göreve uyarlar.
• Model birleştirme: Eğitilmiş ağırlıkları veya adaptörleri tek bir modelde birleştirir. Eğitilmiş bir LoRA güncellemesi, uyarladığı dondurulmuş ağırlık matrisine eklenebilir; böylece birleştirilmiş model ek çıkarım maliyeti olmadan çalışır.