Parametre Verimli İnce Ayar (PEFT)

Parametre Verimli İnce Ayar (PEFT), aşağıdaki alanlarda kullanılan sofistike bir stratejidir makine öğrenimi (ML) büyük ölçekli projelere uyum sağlamak üzere tasarlanmıştır, Önceden eğitilmiş modeller, tüm ağı yeniden eğitmenin hesaplama yükü olmadan belirli aşağı akış görevlerine. As doğal dil gibi alanlarda temel modeller işleme ve bilgisayarla görme (CV) ölçeklendirildi milyarlarca parametreye, geleneksel modeldeki her ağırlığı güncelleyen ince ayar birçok kullanıcı için engelleyici derecede pahalı hale gelir. PEFT bu sorunu, önceden eğitilmiş sistemlerin çoğunu dondurarak çözer. model ağırlıkları ve sadece küçük bir alt kümenin güncellenmesi parametreleri veya birkaç yeni eğitilebilir katman eklemek. Bu yaklaşım donanım bariyerini önemli ölçüde düşürerek araştırmacılar ve mühendisler, tüketici sınıfı kullanarak son teknoloji modelleri özelleştirmek için Performansı korurken GPU 'lar tam eğitimle karşılaştırılabilir.

PEFT'in Mekaniği

PEFT'in arkasındaki temel kavram şudur transfer öğrenmesi, bir modelin Sınırlı veriyle yeni sorunları çözmek için büyük bir veri kümesinden ( ImageNet veya Common Crawl gibi) elde edilen bilgi. Tam ince ayarın aksine, PEFT model mimarisini veya eğitim sürecini "parametre" olacak şekilde değiştirir. verimli." Bu, uyarlanmış model için genellikle sadece birkaç megabayt gibi küçük bir ayak izi yaratır. tam bir model kopyası için gereken gigabayt. Bu verimlilik, aşağıdakilerin önlenmesi için çok önemlidir katastrofik unutma, bir fenomenin Model yeni bilgiler öğrenirken orijinal genel yeteneklerini kaybeder.

PEFT şemsiyesi altındaki yaygın teknikler şunları içerir:

• LoRA (Düşük Sıralı Adaptasyon): Bu popüler yöntem, küçük, eğitilebilir rütbe ayrıştırma matrislerini modelin katmanlarına enjekte ederek orijinal ağırlıklar. Microsoft tarafından yapılan araştırmalarda yaygın olarak alıntılanmaktadır. hız ve doğruluk dengesi.
• Adaptörler: Bu işlem, küçük mevcut katmanlar arasında sinir ağı modülleri önceden eğitilmiş ağın.
• İstemi Ayarlama: Öncelikle aşağıdakilerle kullanılır dil modelleri, bu eğitilebilir "soft prompt" ekler giriş dizisine gömme, donmuş diziye rehberlik etme modelin davranışı.

Gerçek Dünya Uygulamaları

PEFT, çeşitli sektörlerde güçlü yapay zeka araçlarına erişimin demokratikleştirilmesinde önemli bir rol oynamaktadır.

• Hassas Tarım: Çiftçiler ve tarımsal teknoloji şirketleri genel adaptasyon için PEFT'i kullanıyor gibi nesne algılama modelleri YOLO11 belirli mahsul hastalıklarını veya yerel zararlıları tanımlamak için. Tarımda yapay zekayı kullanarak, yapay zeka üzerine eğitilmiş bir model genel nesneler, küçük bir özel veri kümesi üzerinde ince ayar yapılabilir. Sahadaki uç cihazlarda verimli bir şekilde çalışarak lokalize yanıklığı yüksek doğrulukla detect etmek için yaprak görüntüleri.
• Tıbbi Teşhis: İçinde sağlık hizmetlerinde yapay zeka, gizlilik ve veri kıtlığı büyük zorluklar. Hastaneler, vizyon modellerini aşağıdakilere uyarlamak için PEFT'i kullanabilir tespit etmek gibi tıbbi görüntü analizi X-ışınlarındaki kırıklar. Temel model donmuş halde kaldığından, eğitimin yakınsaması için daha az hasta görüntüsü gerekir, Aşırı uyum riskini azaltmak ve Modelin genel görsel özellikleri tanıma yeteneği.

Pratik Uygulama

Ultralytics modeller bağlamında, parametre verimliliği genellikle backbone "dondurarak" elde edilir eğitim sırasında ağın katmanları. Bu, özellik çıkarma katmanlarının değişmeden kalmasını sağlar ve yalnızca kafası (modelin nihai tahminleri yapmaktan sorumlu kısmı) güncellenir.

Aşağıdaki örnek, Ultralytics ile basit bir parametre-etkin eğitim biçiminin nasıl uygulanacağını göstermektedir Modelin ilk 10 katmanını dondurarak YOLO .

from ultralytics import YOLO

# Load the YOLO11 model (latest stable version)
model = YOLO("yolo11n.pt")

# Train the model on a specific dataset
# The 'freeze=10' argument freezes the first 10 layers (the backbone)
# This reduces the number of trainable parameters significantly
results = model.train(data="coco8.yaml", epochs=5, freeze=10)

PEFT ve İlgili Kavramlar

PEFT ve benzer terimler arasındaki ayrımı anlamak, doğru stratejiyi seçmek için hayati önem taşır:

• Tam İnce Ayar: Bu, ağdaki tüm parametreleri günceller. Maksimum sunar ancak her yeni model sürümü için devasa hesaplama kaynakları ve depolama gerektirir. Şuna bakın en iyi uygulamalar için ince ayar yapılmasına ilişkin kılavuz kaynaklar bir kısıtlama değildir.
• Mühendislik İstemi: Bu herhangi bir ağırlığı değiştirmeden modeli yönlendirmek için metin girdisinin (istem) hazırlanmasını içerir. Buna karşın PEFT, Modelin verileri işleme şeklini değiştirmek için küçük bir parametre veya ağırlık kümesini kalıcı olarak günceller.
• Transfer Öğrenimi: Bu bir bilginin yeniden kullanılmasına ilişkin daha geniş bir kavramdır. PEFT, transfer öğrenmenin özel ve verimli bir uygulamasıdır. Bu kavramların daha derin tanımlarını aşağıdaki gibi platformlarda keşfedebilirsiniz IBM'in yapay zeka eğitim sayfaları.

PEFT, adaptasyonun hesaplama maliyetini en aza indirerek, aşağıdakiler için son derece uzmanlaşmış modellerin oluşturulmasına olanak tanır otonom araç algılama gibi çeşitli görevler analiz etmek için uydu görüntüleri, Gelişmiş yapay zekayı daha geniş bir geliştirici topluluğu için erişilebilir kılmak.