Zero-Shot Learning

Sıfır örnekli öğrenme (ZSL), bir modelin etiketli eğitim örneği görmediği sınıfları tanıma yeteneğidir. Model örnekler yerine, her yeni sınıfın özellik listesi gibi bir açıklamasını veya modern sistemlerde sınıf adını metin olarak alır ve girdileri ortak bir gömme uzayındaki bu açıklamalarla eşleştirir. Standart denetimli öğrenme yalnızca eğitim etiketlerinde bulunan sınıfları tahmin edebilir; dolayısıyla yeni bir kategori eklemek, yeni veriler toplamayı, bunları etiketlemeyi ve modeli yeniden eğitmeyi gerektirir. Sıfır örnekli bir modelde kategori eklemek için adını eklemek yeterlidir. 400 milyon görüntü-altyazı çifti üzerinde eğitilen OpenAI'nin CLIP modeli, ImageNet'in 1,28 milyon etiketli eğitim görüntüsünden hiçbirini kullanmadan, ImageNet'teki özgün denetimli ResNet-50'nin doğruluğuna ulaştı.

Sıfır Örnekli Öğrenme Nasıl Çalışır#

Sıfır örnekli öğrenme, görülen ve görülmeyen sınıfları birbirine bağlayan anlamsal bir uzay üzerinden bilgi aktarır. İlk yöntemlerde her sınıf, "çizgili", "toynaklı" ve "çayırlarda yaşar" gibi insanlarca tanımlanmış özelliklerle anlatılıyor; modeller de bu özellikleri tahmin etmek üzere eğitiliyordu. Böylece eğitimde hiç görülmemiş bir hayvan, eşleşen özelliklere sahip sınıf olarak tanınabiliyordu. Görsel-dil modelleri, elle oluşturulan özelliklerin yerini doğal dille aldı. CLIP, bir görüntü kodlayıcısını ve metin kodlayıcısını karşıt öğrenmeyle eğitir; böylece eşleşen görüntüler ve altyazılar benzer gömmeler elde eder. Sınıflandırma için "bir zebra fotoğrafı" gibi her aday sınıf için bir istemin gömmesi ile görüntünün gömmesi hesaplanır; ardından en yüksek kosinüs benzerliğine sahip sınıf seçilir:

Sınıflandırıcı çıkarım sırasında metinden oluşturulduğu için sınıf listesi her istekle değişebilir. Aynı yaklaşım büyük dil modelleri (LLM'ler) için de geçerlidir: sıfır örnekli istem, GPT-3 makalesinde tanımlandığı gibi modele örnekler göstermeden yalnızca bir talimat vermektir.

Sıfır Örnekli Nesne Algılama#

Açık kelime dağarcıklı algılayıcılar, sıfır örnekli öğrenmeyi tüm görüntülerden tek tek nesnelere genişletir. Her aday bölgeyi istenen sınıfların metin gömüleriyle karşılaştırıp puanlarlar; böylece sabit bir etiket kümesinin dışındaki nesneleri, örneğin video arşivindeki belirli bir ürünü, bulabilirler. YOLO-World bu yaklaşımı gerçek zamanlı YOLO modellerine uygular. Ultralytics YOLOE-26, açık kelime dağarcıklı bir YOLO26 sürümü olarak, set_classes() öğesine aktarılan her sınıf adını MobileCLIP2 metin kodlayıcısıyla kodlar ve yeniden eğitim gerektirmeden bu sınıflar için kutular ile örnek segmentasyonu maskeleri döndürür:

from ultralytics import YOLOE

# Metin istemlerini kabul eden YOLOE-26 kontrol noktası
model = YOLOE("yoloe-26s-seg.pt")

# Çıkarım sırasında sınıfları belirt; burada COCO etiketlerinde bulunmayan sözcükler kullanılıyor
model.set_classes(["city bus", "sneakers", "glasses"])

# Adı belirtilen sınıfları algıla ve segmente et
results = model.predict("https://ultralytics.com/images/bus.jpg")
result = results[0]
result.save(filename="zero_shot_result.jpg")

İlk set_classes() çağrısı metin kodlayıcısını indirir. Nesne algılamada "sıfır atışlı" demek, modelin bir sınıf için etiketli kutular almamış olmasıdır; ancak sınıf adı, kodlayıcılarını önceden eğitmek için kullanılan görüntü-metin verilerinde yer almış olabilir. Ultralytics Platform, sıfır atışlı algılayıcılarla ve görsel-dil modelleriyle algılama veri kümelerini otomatik olarak anotasyonlar. VLM Leaderboard, her birinin gerçek dünya görüntülerindeki nesneleri bulma doğruluğunu karşılaştırır.

Uygulamalar#

• Görsel arama ve içerik denetimi: Medya kitaplıkları ve içerik platformları, her sorgu için sınıflandırıcı eğitmeden metin sorgusuyla eşleşen görüntüleri bulur veya yeni içerik kategorilerini işaretler.
• Robotik: "Mavi kupayı getir" komutu verilen bir robot, algılamak üzere hiç eğitilmediği bir nesne kategorisini bulabilir.
• Yaban hayatı ve biyoçeşitlilik: Yaşam ağacının farklı kollarından 10 milyondan fazla görüntüyle eğitilen BioCLIP, türleri adlarına bakarak sıfır örnekli biçimde sınıflandırır ve CVPR 2024'te en iyi öğrenci makalesi ödülünü kazandı.
• Tıbbi görüntüleme: Radyoloji raporlarıyla eşleştirilmiş röntgen görüntülerinde eğitilen modeller, açık eğitim etiketleri olarak hiç işaretlenmemiş bulguları saptayabilir.

Zorluklar#

Sıfır örnekli doğruluk, özellikle web metinlerinde adlarına nadiren rastlanan, ince ayrıntılı veya uzmanlık gerektiren kategorilerde, genellikle aynı sınıfların etiketli örnekleriyle eğitilmiş bir modelinkinden düşüktür. Test görüntülerinin hem görülen hem de görülmeyen sınıflardan gelebildiği genelleştirilmiş sıfır örnekli öğrenmede modeller eğitimde gördükleri sınıfları tercih eder; kıyaslama çalışmaları, bu koşulda görülmeyen sınıflardaki doğruluğun keskin biçimde düştüğünü bulmuştur. Sonuçlar kullanılan ifadelere de bağlıdır; bu nedenle istem mühendisliği, sıfır örnekli sınıflandırmanın bir parçasıdır: Yalın sınıf adının yerine "bir {label} fotoğrafı" istemi kullanıldığında CLIP'in ImageNet doğruluğu %1,3 arttı.

Sıfır Örnekli Öğrenme ve İlgili Terimler#

• Az örnekli öğrenme: Her sınıftan genellikle 1 ila 10 etiketli örnek kullanarak yeni sınıfları öğrenir. Sıfır örnekli öğrenme, örnek yerine açıklama kullanılan durumdur.
• Tek örnekli öğrenme: Her sınıf için tam olarak bir etiketli örnek kullanan az örnekli öğrenme biçimidir; bu örnek çoğu zaman gömme benzerliğiyle eşleştirilir.
• Aktarım öğrenmesi: Yeni bir görev için önceden eğitilmiş bir modeli, genellikle etiketli verilerle ince ayar yaparak yeniden kullanır. Sıfır örnekli öğrenme ise ek eğitim olmadan ortak metin-görüntü uzayı üzerinden bilgi aktarır.
• Görsel istem verme: Hedefi sözcüklerle değil örnek bir görüntü veya kutuyla belirtir; bu yöntem, adı koyması zor belirli bir parça ya da logo gibi nesnelerde yardımcı olur.