Parametre Verimli İnce Ayar (PEFT)

Parametre Verimli İnce Ayar (PEFT), makine öğreniminde (ML) hesaplama maliyetlerini en aza indirirken önceden eğitilmiş büyük modellerin belirli görevlere göre özelleştirilmesini sağlayan sofistike bir optimizasyon stratejisidir. Modern temel modeller milyarlarca parametreyi kapsayacak şekilde büyüdükçe, ağdaki her ağırlığı güncelleyen geleneksel eğitim yöntemleri donanım ve enerji açısından aşırı pahalı hale gelmiştir. PEFT, önceden eğitilmiş model ağırlıklarının büyük çoğunluğunu dondurarak ve yalnızca küçük bir parametre alt kümesini güncelleyerek veya hafif adaptör katmanları ekleyerek bu sorunu çözmektedir. Bu yaklaşım, giriş engelini azaltarak geliştiricilerin endüstriyel ölçekli veri merkezlerine ihtiyaç duymadan tüketici sınıfı GPU'larda son teknoloji sonuçlar elde etmelerini sağlamaktadır.

Verimliliğin Mekanizması

PEFT'nin temel prensibi, bir modelin ImageNet gibi büyük kamu veri kümelerinden öğrenilen özellik temsillerini kullanan transfer öğrenimine dayanır. ImageNet gibi büyük kamu veri kümelerinden öğrenilen özellik temsillerini kullanarak yeni problemleri çözer. Standart bir iş akışında, bir modeli uyarlamak "tam ince ayar" gerektirebilir; bu durumda geri yayılım, sinir ağındaki her parametreyi ayarlar .

LoRA (Düşük Sıralı Uyarlama) gibi PEFT teknikleri farklı bir yol izler. Modelin ağır "backbone" statik tutarak genel bilgisini korur ve küçük, eğitilebilir matrisleri belirli katmanlara enjekte eder. Bu, modelin yeni bilgiler öğrenirken orijinal yeteneklerini kaybetmesi olayını önler. Eğitilebilir parametrelerin sayısını %99'a kadar azaltan PEFT, depolama gereksinimlerini önemli ölçüde azaltır ve gerçek zamanlı çıkarım sırasında tek bir temel modelde birden fazla göreve özel adaptörün değiştirilmesine olanak tanır.

Gerçek Dünya Uygulamaları

PEFT, uç bilgi işlem ve veri gizliliğinin çok önemli olduğu sektörlerde özellikle değerlidir.

• Tarımda Yapay Zeka: Agritech girişimleri genellikle sınırlı pil ömrü ve işlem gücüne sahip drone'larda modeller kullanır. PEFT'yi kullanarak mühendisler, YOLO26 gibi yüksek verimli bir modeli alıp, küçük bir özel veri seti kullanarak sonbahar tırtılı gibi detect bölgesel zararlıları detect için ince ayar yapabilirler. backbone dondurarak, eğitim bir dizüstü bilgisayarda hızlı bir şekilde gerçekleştirilebilir ve ortaya çıkan model, yerleşik işlem için yeterince hafif kalır.
• Sağlık Hizmetlerinde Yapay Zeka: Tıbbi görüntü analizinde, açıklamalı veriler genellikle azdır ve elde edilmesi pahalıdır. Hastaneler, MRI taramalarındaki anormallikleri tespit etmek için genel amaçlı görme modellerini uyarlamak üzere PEFT kullanmaktadır. Temel parametreler sabit olduğundan, model küçük veri kümelerinde aşırı uyumlanmaya daha az eğilimlidir, bu da hasta verilerinin gizliliğini korurken sağlam tanı performansı sağlar. Tıbbi görüntü analizinde, açıklamalı veriler genellikle azdır ve elde edilmesi pahalıdır. Hastaneler, MRI taramalarındaki anormallikleri tespit etmek için genel amaçlı görme modellerini uyarlamak üzere PEFT kullanmaktadır.

Ultralytics ile Dondurulmuş Katmanları Uygulama

Ultralytics , parametre verimliliği genellikle bir ağın ilk katmanlarını "dondurarak" elde edilir. Bu, sağlam özellik çıkarıcıların değişmeden kalmasını sağlarken, yalnızca baş veya sonraki katmanların yeni sınıflara uyum sağlamasını sağlar. Bu, nesne algılama için PEFT ilkelerinin pratik bir uygulamasıdır. .

Aşağıdaki örnek, hesaplama kaynaklarını korumak backbone ilk 10 katmanını dondurarak YOLO26 modelini nasıl eğitebileceğinizi göstermektedir: :

from ultralytics import YOLO

# Load the YOLO26 model (latest stable version)
model = YOLO("yolo26n.pt")

# Train on a custom dataset with the 'freeze' argument
# freeze=10 keeps the first 10 layers static, updating only deeper layers
results = model.train(data="coco8.yaml", epochs=5, freeze=10)

Bu süreci ölçeklendirmek isteyen ekipler için Ultralytics , veri kümelerini yönetmek, açıklamaları otomatikleştirmek ve bu verimli eğitim işlemlerini buluttan izlemek için birleşik bir arayüz sunar.

PEFT'yi İlgili Kavramlardan Ayırma

Doğru model uyarlama stratejisini seçmek için, PEFT'yi benzer terimlerden ayırmak yararlıdır:

• İnce Ayar: Genellikle "tam ince ayar" olarak adlandırılan bu süreç, modeldeki tüm parametreleri günceller. Maksimum esneklik sunarken, hesaplama açısından maliyetlidir ve her görev için modelin tam bir kopyasının kaydedilmesini gerektirir. PEFT, verimliliğe odaklanan ince ayarın bir alt kategorisidir.
• Hızlı Mühendislik: Bu , herhangi bir iç ağırlığı değiştirmeden modelin çıktısını yönlendirmek için metin girdileri oluşturmayı içerir. PEFT ise, matematiksel olarak ağırlıkların veya adaptörlerin bir alt kümesini değiştirerek modelin verileri işleme şeklini kalıcı olarak değiştirir.
• Bilgi Damıtma: Bu teknik, küçük bir öğrenci modelini büyük bir öğretmen modelini taklit etmek için eğitir. Verimli bir model elde edilmesini sağlasa da, bu bir sıkıştırma yöntemidir, oysa PEFT mevcut bir modele yeni beceriler öğretmek için kullanılan bir uyarlama yöntemidir.

Yüksek performanslı yapay zekaya erişimi demokratikleştiren PEFT, geliştiricilerin süper bilgisayar altyapısına ihtiyaç duymadan otonom araçlar ve akıllı üretim için özel araçlar geliştirmelerine olanak tanır.