Few-Shot Learning

Az örnekli öğrenme (FSL), çoğunlukla yeni sınıfları tanımak üzere, sınıf başına genellikle 1 ila 10 arasında yalnızca birkaç etiketli örnekle yeni bir görevi öğrenme problemidir. Standart denetimli öğrenme, sınıf başına yüzlerce veya binlerce etiketli görüntü gerektirir; bunları nadir kusurlar, nadir hastalıklar veya daha dün piyasaya sürülen bir ürün için toplamak pahalıdır ya da imkânsızdır. Az örnekli yöntemler, önceden edinilmiş bilgiden yararlanarak bu açığı kapatır: büyük ve ilgili veriler üzerinde önceden eğitilmiş bir model, yeni sınıfları iyi ayıran özellikler üretir; bu nedenle sınıfları tanımlamak için bir avuç örnek yeterlidir. Aynı yaklaşım, istemdeki birkaç işlenmiş örneğin modeli eğitim olmadan yeni bir göreve yönlendirdiği dil modellerinde de görülür.

N-Yollu K-Örnekli Görevler#

Az örnekli problemler N-yollu K-örnekli olarak tanımlanır: her birinde K etiketli örnek bulunan N yeni sınıf. Bu etiketli örnekler destek kümesini oluşturur ve model, aynı N sınıftan ayrı bir sorgu örnekleri kümesini ne kadar iyi etiketlediğine göre puanlanır. Dolayısıyla 5-yollu 1-örnekli bir görevde modele daha önce hiç görmediği beş sınıfın her birinden bir örnek verilir ve yeni görüntüleri bu sınıflara ayırması istenir. Tek örnekli öğrenme, K = 1 durumudur; sıfır örnekli öğrenme ise K = 0 durumudur ve burada sınıflar örneklerle değil, metin veya özniteliklerle tanımlanır. Araştırma kıyaslamaları, 50 alfabeden 1.623 el yazısı karakteri içeren Omniglot ve her birinde 600 görüntü bulunan 100 ImageNet sınıfını içeren miniImageNet gibi eğitim dışında tutulan sınıflarla değerlendirilir.

Az Örnekli Öğrenme Yaklaşımları#

Metrik öğrenme yöntemleri, görüntüleri aynı sınıftaki örneklerin birbirine yakın durduğu gömülere eşleyen bir ağ eğitir; böylece bir sorgu, en benzer destek örneklerinin etiketini alır. Prototip ağları, her sınıfın destek gömmelerinin ortalamasını alarak bir prototip oluşturur ve sorguyu en yakın prototipe atar; yeni bir sınıf geldiğinde yeniden eğitim gerekmez.

Diğer yaklaşımlar modelin ağırlıklarını veya girdisini uyarlar:

• Üst öğrenme: Temel sınıflardan oluşturulan binlerce küçük benzetim görevinde eğitim yaparak modele nasıl uyum sağlayacağını öğretir. Modelden bağımsız üst öğrenme (MAML), yeni bir görevin destek kümesindeki birkaç gradyan adımının iyi ağırlıklar vermesini sağlayan bir başlangıç noktası öğrenir.
• Aktarım ve ince ayar: Bir omurgayı büyük bir veri kümesinde önceden eğit, ardından destek kümesinde yalnızca yeni sınıflandırıcı başlığını veya küçük bir öğrenme oranıyla tüm ağı eğit. Bu basit temel yöntem, standart az örnekli kıyaslamalarda özel meta-öğrenme yöntemleriyle rekabet eder; büyük ve önceden eğitilmiş modellerde doğrusal yoklama da güçlü bir az örnekli temel yöntem olmayı sürdürür.
• Temel modelleri istemlerle yönlendirme: Büyük dil modelleri, ağırlıklarını güncellemeden, isteme yerleştirilen birkaç örnekle yeni görevleri yerine getirir; GPT-3 bu yeteneğini iki düzineden fazla dil kıyaslamasında gösterdi. Görüntü modelleri de aynı şekilde örnek kutular gibi görsel istemleri kullanır.

Görsel İstemlerle Az Örnekli Nesne Tespiti#

Tespit, az örnekli probleme konumlandırmayı da ekler: model, eğitim almadığı bir sınıfın tüm örneklerini bulmalıdır. YOLO26, YOLOE-26 modeline de güç verir. Bu açık sözcük dağarcıklı varyantın görsel istem kodlayıcısı, örnek kutuları bir sınıf gömmesine dönüştürür ve ardından eşleşen nesneleri yeni görüntülerde eğitim olmadan tespit edip segmentlere ayırır. Aynı sınıf kimliğini paylaşan kutular tek bir istemde birleştirilir; bu nedenle bir sınıfa ait iki örnek 2-örnekli bir destek kümesi görevi görür. Bu örnek, destek kümesi olarak tek bir görüntüdeki iki kişiyi alıp farklı bir görüntüyü tarar:

import numpy as np
from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEVPSegPredictor

# Görsel istemleri kabul eden YOLOE-26 kontrol noktası
model = YOLOE("yoloe-26s-seg.pt")

# Destek kümesi: referans görüntüde aynı sınıfa (insanlar) ait iki örnek kutu
boxes = np.array([[221.52, 405.8, 344.98, 857.54], [669.47, 392.19, 809.72, 877.04]])
support = {"bboxes": boxes, "cls": np.array([0, 0])}

# Sorgu: eğitim olmadan farklı bir görüntüdeki örneklere benzeyen nesneleri bul
results = model.predict(
    "https://ultralytics.com/images/zidane.jpg",
    refer_image="https://ultralytics.com/images/bus.jpg",
    visual_prompts=support,
    predictor=YOLOEVPSegPredictor,
)
result = results[0]
result.save(filename="few_shot_result.jpg")

Görsel istemler, örnekleri adlandırmadan gruplandırır; bu nedenle sonuçlardaki eşleşmeler her sınıf kimliği için bir ad olacak şekilde object0, object1 ve benzeri etiketler alır.

Gerçek Dünya Uygulamaları#

• Üretim denetimi: Yeni tanıtılan bir parçadaki çatlak gibi yeni bir kusur türü, denetçilerin işaretlenmesini isteyeceği zamana kadar yalnızca birkaç kez görülebilir. Az örnekli tespit veya anomali tespiti, büyük bir yeni veri kümesi olmadan bu kusuru sisteme ekler.
• Tıbbi görüntüleme: Nadir durumlar için az sayıda anotasyonlu tarama bulunduğundan, tıbbi görüntü analizi modelleri az sayıda uzman tarafından etiketlenmiş vakadan öğrendikleri önceden eğitilmiş özellikleri yeni bulgulara uyarlar.
• Perakende ve robotik: Mağazalara sürekli yeni ürünler eklenir ve robotlar sürekli yeni nesnelerle karşılaşır; birkaç referans fotoğraf, bir sistemin her nesneyi rafta veya kavrayıcıda tanımasını sağlar.

Az Örnekli Öğrenme ve İlişkili Kavramlar#

• Aktarım öğrenmesi: Bir görevden edinilen bilgiyi başka bir görevde yeniden kullanmaya yönelik daha geniş uygulamadır. Az örnekli öğrenme, verinin son derece kısıtlı olduğu durumdur ve aktarım en yaygın aracıdır.
• Üst öğrenme: Öğrenmeyi öğrenmeye yönelik bir eğitim stratejisi ve az örnekli problemleri çözmenin birkaç yolundan biridir. Az örnekli öğrenme, problemin kendi tanımını ifade eder.
• Az örnekli istem kullanımı: Çıkarım sırasında girdideki örnekleri kullanarak dondurulmuş bir modeli uyarlar; az örnekli ince ayar ise aynı birkaç örneği kullanarak modelin ağırlıklarını değiştirir.