Transfer Learning

Transfer öğrenme, bir görevde eğitilmiş bir modeli ilişkili bir görev için başlangıç noktası olarak yeniden kullanan bir makine öğrenimi tekniğidir. Bir sinir ağını rastgele ağırlıklarla eğitmek, büyük etiketli veri kümeleri ve ciddi miktarda hesaplama gücü gerektirir. Milyonlarca görüntü üzerinde önceden eğitilmiş bir model ise çoğu yeni görevin ihtiyaç duyduğu görsel özellikleri zaten öğrenmiştir. Öğrenilmiş bu model ağırlıklarından başlayarak yeni bir model, çok daha az etiketli görüntüyle ve eğitim süresinin çok daha küçük bir bölümünde yüksek doğruluğa ulaşır. Bu nedenle transfer öğrenme, özel görevler için bilgisayarlı görü modelleri oluşturmanın varsayılan yoludur.

Aktarım Öğrenimi Nasıl Çalışır#

Transfer öğrenme işe yarar çünkü derin ağlar özellikleri hiyerarşik biçimde öğrenir. Bir omurganın ilk katmanları hemen her görüntüde bulunan kenarlara, renklere ve dokulara tepki verirken daha derin katmanlar bunları nesne parçalarına ve göreve özgü kavramlara dönüştürür. Yosinski ve arkadaşlarının yaptığı bir çalışma, bu ilerlemeyi evrişimli ağlarda ölçtü. Çalışma, ilk katman özelliklerinin genel olduğunu, özellikler özgün göreve göre özelleştikçe üst katmanlarda aktarılabilirliğin azaldığını ve yeni veri kümesinde ince ayar yapıldıktan sonra bile aktarılan özelliklerin genellemeyi iyileştirdiğini ortaya koydu.

Süreç iki aşamadan oluşur:

1. Ön eğitim: Model, bir dizi önceden eğitilmiş ağırlık üretmek için ImageNet, COCO veya Objects365 gibi büyük bir kıyaslama veri kümesinde genel temsilleri öğrenir.
2. Uyarlama: Sınıflandırıcı veya tespit başlığı gibi çıktı katmanları yeni sınıflara göre değiştirilir ya da yeniden boyutlandırılır ve hedef veri kümesinde eğitilir. Özellik çıkarımında, önceden eğitilmiş katmanlar dondurulmuş kalır ve yalnızca yeni katmanlar öğrenir. İnce ayarda ise önceden eğitilmiş katmanların bir kısmı veya tamamı da güncellenir; genellikle daha düşük bir öğrenme oranı kullanılır.

Ağın ne kadarının yeniden eğitileceği iki soruya bağlıdır: Yeni görevde ne kadar etiketli veri olduğu ve görevin ön eğitim verisine ne kadar benzediği. Stanford'un CS231n notları bu iki sorudan kaynaklanan dört durumu açıklar:

Nesne Tespiti için Transfer Öğrenme#

Algılama modelleri neredeyse her zaman aktarım yoluyla eğitilir: Resmî YOLO26 kontrol noktaları, COCO üzerinde ince ayar yapılmadan önce Objects365 üzerinde 150 dönem ön eğitimden geçirildi; bu süreç YOLO26 eğitim tarifinde belgelenmiştir. Yüklenmiş bir kontrol noktasında train() değerini yeni bir veri kümesiyle çağırdığında uyumlu tüm ağırlıklar aktarılır; sınıf sayısı değişirse sınıfa özgü çıktı satırları sıfırlanırken sınıf adları eşleşen satırlar korunur. Ayrıca erken katmanları sabit tutan bir freeze bağımsız değişkenini kabul eder; bu, özellikle küçük veri kümelerinde yararlıdır.

from ultralytics import YOLO

# COCO'nun 80 sınıfında önceden eğitilmiş YOLO26n ağırlıklarını yükle
model = YOLO("yolo26n.pt")

# Yeni ve tek sınıflı bir veri kümesine uyarla; freeze=10 ilk 10 katmanı sabit tutar
results = model.train(data="medical-pills.yaml", epochs=20, freeze=10)

Önceden eğitilmiş omurga şekilleri, kenarları ve dokuları zaten algılar. Bu nedenle eğitimde, Medical Pills veri kümesindeki 92 etiketli eğitim görüntüsünden bir hapın nasıl göründüğünü öğrenmek yeterlidir.

Transfer Öğrenme ve İlişkili Terimler#

• İnce ayar: Önceden eğitilmiş ağırlıkların yeni veriler üzerinde güncellenmeye devam ettiği bir transfer öğrenme yöntemidir. Dondurulmuş bir omurgayla özellik çıkarımı yapmak diğer temel yöntemdir.
• Alan uyarlaması: Görevin aynı kaldığı, ancak veri dağılımının değiştiği bir transfer öğrenme biçimidir. Örneğin, gündüz görüntülerinden gece görüntülerine geçişte bu yöntem, çoğu zaman hedef etiketlerin çok az olduğu ya da hiç olmadığı durumlarda kullanılır.
• Sıfır örnekli öğrenme ve az örnekli öğrenme: Tam bir uyarlama aşaması yerine önceden eğitilmiş modelin genel bilgisinden yararlanarak, etiketli örneği olmayan ya da yalnızca birkaç etiketli örneği olan yeni sınıfları ele alır.
• Parametre açısından verimli ince ayar (PEFT): Özgün ağırlıkları dondurulmuş halde tutarken LoRA matrisleri gibi eklenmiş veya seçilmiş az sayıdaki parametreyi eğiterek çok büyük, önceden eğitilmiş modelleri uyarlar.
• Yıkıcı unutma: Bir model yeni veriler üzerinde ince ayar yapıldığında, özgün göreve ait becerilerin kaybolmasıdır. Yeni eğitim kümesine özgün sınıflardan bazı görüntüler eklemek veya daha fazla katmanı dondurmak bu durumu sınırlar.