Semi-Supervised Learning

Yarı denetimli öğrenme, küçük bir etiketli örnek kümesini çok daha büyük bir etiketsiz örnek kümesiyle birlikte kullanarak, yalnızca etiketlerin sağlayabileceğinden daha yüksek doğruluk elde etmek üzere model eğitir. Her eğitim örneğinin etiketi olduğu denetimli öğrenme ile hiçbir örneğin etiketli olmadığı denetimsiz öğrenme arasında yer alır. Kameralar düşük maliyetle görüntü toplarken kutu veya maske çizmek ya da tanı kaydetmek gibi veri etiketleme insan emeği ve çoğu zaman uzmanlık gerektirdiğinden, bu yaklaşım bilgisayarlı görü için uygundur. FixMatch, CIFAR-10 görüntü kıyaslamasında sınıf başına yalnızca 4 etiketli görüntüyle %88,61 doğruluğa ulaştı; Noisy Student ise 300 milyon etiketsiz görüntüye sözde etiketler ekleyerek ImageNet top-1 doğruluğunu %88,4'e yükseltti.

Yarı Denetimli Öğrenme Nasıl Çalışır#

Etiketsiz veriler, veri dağılımının şeklini gösterdiği için yararlıdır. Yöntemler, yoğun bir bölgede birbirine yakın örneklerin aynı etiketi paylaştığını varsayar; bu nedenle sınıflar arasındaki karar sınırı, az sayıda örneğin bulunduğu seyrek bölgelerden geçmelidir. Üç yöntem ailesi bu ilkeyi uygular.

Öz eğitim olarak da adlandırılan sözde etiketleme, modeli etiketli veriler üzerinde eğitir, etiketsiz veriler üzerinde çalıştırır ve bir güven eşiğini aşan tahminleri ek eğitim verileri olarak kullanır. Öğretmen-öğrenci sürümlerinde eğitilmiş model, havuzu etiketleyen bir öğretmene dönüşür; çoğu zaman öğretmen kadar büyük veya ondan daha büyük olan bir öğrenci, gerçek etiketler ve sözde etiketlerle eğitilir ve sonraki öğretmen olur:

Tutarlılık düzenlemesi, aynı etiketsiz görüntünün iki farklı veri artırımı gibi farklı bozulmalarında modelin aynı tahmini vermesini gerektirir. FixMatch bu iki fikri birleştirir: modeli yalnızca emin olduğu durumlarda zayıf artırılmış bir görünümü sözde etiketler ve aynı görüntünün güçlü artırılmış görünümünde bu etiketi tahmin etmesi için eğitir. Grafik tabanlı yöntemler benzer örnekleri bir grafikte birleştirir ve bilinen etiketleri grafiğin kenarları boyunca yayar. Bu yöntemlerdeki başlıca risk, yanlış sözde etiketlerin eğitimde kullanılıp ardından daha da yüksek güvenle tahmin edildiği doğrulama yanlılığıdır; bu yüzden yöntemler yüksek eşikler, güçlü artırma veya ağırlıkları öğrencinin yavaş hareketli ortalaması olan bir öğretmen kullanır.

Bu scikit-learn örneği, her rakam için yalnızca 2 görüntünün etiketlerini korur ve bu 20 görüntüyle eğitilen denetimli bir sınıflandırıcıyı, etiketi yayma adı verilen ve etiketsiz 1.237 eğitim görüntüsünü de kullanan grafik tabanlı yöntemle karşılaştırır:

import numpy as np
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.semi_supervised import LabelSpreading

X, y = load_digits(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X / 16, y, test_size=0.3, random_state=0, stratify=y)

# Keep the labels of only 2 training images per digit; -1 marks every other image as unlabeled
labeled = np.concatenate([np.flatnonzero(y_train == digit)[:2] for digit in range(10)])
y_partial = np.full_like(y_train, -1)
y_partial[labeled] = y_train[labeled]

# Supervised baseline trains on the 20 labeled images; label spreading also uses the unlabeled ones
supervised = LogisticRegression(max_iter=5000).fit(X_train[labeled], y_train[labeled])
semi_supervised = LabelSpreading(kernel="knn", n_neighbors=10).fit(X_train, y_partial)
print(f"Supervised, 20 labeled images: {supervised.score(X_test, y_test):.3f}")
print(f"Semi-supervised, 20 labeled + {(y_partial == -1).sum()} unlabeled: {semi_supervised.score(X_test, y_test):.3f}")

Denetimli sınıflandırıcı, elde tutulmuş 540 rakam üzerinde 0,800 puan alırken etiket yayma yöntemi aynı 20 etiketle 0,919 puan alır; çünkü etiketsiz görüntüler, etiketli her örneği aynı rakamın çok sayıdaki benzer görüntüsüne bağlar.

Bilgisayarlı Görüde Yarı Denetimli Öğrenme#

Öğretmen-öğrenci sözde etiketleme; kutu, örnek bölümleme maskesi ve derinlik haritası gibi etiketlemesi en pahalı görevlere ölçeklenir. Unbiased Teacher gibi yarı denetimli nesne algılama yöntemleri, öğretmenden gelen güvenilir sözde kutuları tutar. Depth Anything, bir öğretmen modelin otomatik etiketlediği yaklaşık 62 milyon etiketsiz görüntü üzerinde tek görüntüden derinlik tahmini modelini eğitti. Ultralytics YOLO26 derinlik modelleri de aynı şekilde önceden eğitildi: derinlik için temel doğruluk etiketi bulunmayan 1.281.167 ImageNet eğitim görüntüsü, Depth Anything 3 öğretmen modellerinden sözde derinlik haritaları aldı ve gerçek temel doğruluk derinlik veri kümelerini de içeren 2,19 milyon görüntülük karışımın yaklaşık %58'ini oluşturdu. Algılama için büyük bir YOLO26 modeli öğretmen olarak görev yapabilir ve güvenilir tahminlerini YOLO biçimindeki etiket dosyalarına yazabilir; bu, otomatik etiketlemenin basit bir biçimidir:

from ultralytics import YOLO
from ultralytics.utils import ASSETS

# Önceden eğitilmiş büyük bir YOLO26 modeli öğretmen görevi görür
teacher = YOLO("yolo26x.pt")

# Etiketsiz görüntülerden oluşan bir klasörü etiketle; yalnızca güveni 0.5'in üzerinde olan algılamalar sözde etiket olur
# save_txt=True, öğrenci modeli eğitmeye hazır, görüntü başına bir YOLO biçimli .txt etiket dosyası yazar
results = teacher.predict(source=ASSETS, conf=0.5, save_txt=True)

Yarı Denetimli Öğrenme ve İlgili Terimler#

• Aktif öğrenme: En bilgilendirici etiketsiz görüntüleri seçer ve insan etiketleyiciye gönderir. Yarı denetimli öğrenme havuzu otomatik olarak etiketler; birçok etiketleme işlem hattı bu iki yöntemi birleştirir.
• Öz denetimli öğrenme: Yalnızca etiketsiz veriler üzerinde, hedefleri veriden türeterek ön eğitim uygular ve etiketleri ancak sonrasında ince ayar için kullanır. Yarı denetimli öğrenme, aynı eğitim çalışmasında etiketli ve etiketsiz verileri birlikte kullanır.
• Aktarım öğrenmesi: Başka bir veri kümesi üzerinde önceden eğitilmiş bir modelle başlar. Önceden eğitilmiş model daha iyi bir ilk öğretmen sağladığından yarı denetimli öğrenmeyle birleştirilebilir.
• Bilgi damıtma: Genellikle modeli küçültmek amacıyla bir öğrenciyi öğretmenin çıktılarına uyması için eğitir. Sözde etiketleme, eğitim verisi eklemek için aynı öğretmen-öğrenci düzenini kullanır. Noisy Student, eğitim sırasında gürültü ekleyerek öğretmenleri kadar büyük veya onlardan daha büyük öğrenciler eğitti ve daha önce 3,5 milyar zayıf etiketli Instagram görüntüsü üzerinde önceden eğitilmiş en iyi ImageNet modelini %2,0 geride bıraktı.