Linear Probing

Doğrusal yoklama, dondurulmuş özelliklerin üzerine basit bir doğrusal tahminci eğiterek bir modelin öğrendiği temsillerin ne kadar yararlı olduğunu ölçen bir değerlendirme ve uyarlama tekniğidir. Önceden eğitilmiş kodlayıcı değişmeden kalırken yalnızca bir doğrusal katman—sınıflandırma için genellikle lojistik regresyon—etiketli verilere uydurulur. Güçlü yoklama performansı, kodlayıcının gömülerinin ilgili kavramları zaten düzenlediğini ve bunların basit karar sınırlarıyla ayrılabildiğini gösterir.

Makine öğrenmesinde bu terim, çakışma sonrasında komşu depolama konumlarının kontrol edildiği karma tablolarındaki doğrusal yoklamayla ilgili değildir. Yapay zekâ ve derin öğrenmede bu terim, belirli bir temsili doğrusal bir modelle yoklamayı ifade eder.

Doğrusal Yoklama Nasıl Çalışır?#

Tipik bir sinir ağı, ham girdiyi bir özellik vektörüne dönüştüren bir kodlayıcı veya omurga ve ardından göreve özgü bir tahmin başlığı içerir. Doğrusal yoklama dört adımı izler:

1. Bir kodlayıcıyı önceden eğit veya yükle.
2. Eğitimin bu parametreleri güncellemesini önlemek için parametrelerini dondur.
3. Etiketli örneklerde özellik çıkarma işlemi gerçekleştir.
4. Bu sabit özellikleri kullanarak doğrusal bir sınıflandırıcı eğit.

Çok sınıflı sınıflandırmada yoklama, genellikle softmax çıktısına sahip tek bir yoğun katmandan veya bir scikit-learn lojistik regresyon sınıflandırıcısından oluşur. Lojistik regresyon doğrusal olmayan bir olasılık dönüşümü içerse de sınıf skorları ve karar sınırları, girdi özelliklerinin doğrusal fonksiyonlarıdır.

Doğrusal yoklama, bir kodlayıcının etiketlenmemiş verilerden öğrendiği öz denetimli öğrenmede özellikle yaygındır. Keras NNCLR örneği, dondurulmuş bir kodlayıcının özellikleri üzerinde yoğun bir sınıflandırıcı eğiterek bunu gösterir. Yoklamanın kapasitesi sınırlı olduğundan, karmaşık doğrusal olmayan dönüşümler öğrenerek zayıf temsilleri telafi etmesi kolay değildir.

Doğrusal Yoklama Performansı Neyi Ortaya Çıkarır?#

Doğrusal bir yoklama, bilginin bir temsilde hem mevcut olup olmadığını hem de kolayca erişilebilir olup olmadığını sınar. Kedi ve köpek görüntüleri gömme uzayında ayrılabilir gruplar oluşturuyorsa doğrusal bir sınıflandırıcı bunları az sayıda eğitilebilir parametreyle ayırt edebilir. Bilgi daha karmaşık bir düzenlemeyle kodlanmışsa doğrusal yoklama kötü performans gösterse bile doğrusal olmayan bir sınıflandırıcı başarılı olabilir.

Bu nedenle yoklama doğruluğu, model kalitesinin eksiksiz bir ölçüsü olarak değil, tanısal bir ölçüt olarak ele alınmalıdır. Şunlardan etkilenebilir:

• Seçilen kodlayıcı katmanı ve gömme boyutu.
• Girdi çözünürlüğü ve ön işleme.
• Etiketli eğitim verilerinin miktarı ve dengesi.
• Doğrusal modele uygulanan düzenlileştirme.
• Eğitim ve değerlendirme kümeleri arasındaki veri sızıntısı.

Ayrılmış bir doğrulama veri kümesi kullan; tercihen bu küme, scikit-learn’ün eğitim-test bölme yardımcı programı gibi tekrarlanabilir ve tabakalı bir yordamla oluşturulmalıdır. Doğruluğun yanı sıra bir sınıflandırma metrikleri raporu, temsilin tutarlı biçimde ayıramadığı sınıfları ortaya çıkarabilir.

Doğrusal Yoklama ve İlgili Yöntemler#

Doğrusal yoklama, aktarım ve temsil değerlendirme yöntemlerinin daha geniş ailesine aittir; ancak birkaç ayrım önemlidir:

• Doğrusal yoklama ve ince ayar: Yoklama yalnızca doğrusal başlığı günceller. İnce ayar, kodlayıcı ağırlıklarının bir kısmını veya tamamını günceller; bu, modele daha fazla esneklik kazandırır, ancak ek hesaplama gerektirir ve aşırı uyum riskini artırır. TensorFlow aktarım öğrenmesi kılavuzu, isteğe bağlı olarak ince ayar için kilidi açmadan önce temel modelin dondurulmasını açıklar.
• Doğrusal yoklama ve özellik çıkarma: Özellik çıkarma gömmeleri üretir; doğrusal yoklama ise bu gömmeler üzerinde bir tahminciyi eğitir ve değerlendirir.
• Doğrusal yoklama ve doğrusal regresyon: Doğrusal regresyon sürekli değerleri tahmin eder. Sınıflandırma yoklamaları genellikle lojistik regresyon veya softmax katmanıyla ayrık sınıfları tahmin eder.
• Doğrusal yoklama ve en yakın komşu değerlendirmesi: Doğrusal yoklama sınıf sınırlarını öğrenir. En yakın komşu yöntemleri, bu sınırları öğrenmeden örnekleri yakındaki depolanmış gömmelere göre sınıflandırır. PyTorch aktarım öğrenmesi öğreticisi, bunun yakından ilişkili olan dondurulmuş kodlayıcı iş akışını sabit bir özellik çıkarıcı olarak adlandırır.

Ultralytics YOLO ile Doğrusal Yoklama#

Önceden eğitilmiş bir Ultralytics YOLO26 sınıflandırma modeli, belgelenen model.embed() API'si aracılığıyla görüntü gömmeleri üretebilir. Aşağıdaki örnek, özellikleri önceden hesaplayarak kodlayıcıyı örtük biçimde dondurur ve ardından CIFAR-10 kedilerini köpeklerden ayırt etmek için doğrusal bir yoklamayı uydurur:

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split
from torchvision.datasets import CIFAR10
from ultralytics import YOLO

dataset = CIFAR10(root="data", train=False, download=True)
samples = [(image, label) for image, label in dataset if label in (3, 5)][:400]
images, labels = zip(*samples, strict=True)

encoder = YOLO("yolo26n-cls.pt")
embeddings = encoder.embed(list(images), verbose=False)
features = np.stack([embedding.cpu().numpy() for embedding in embeddings])

x_train, x_test, y_train, y_test = train_test_split(features, labels, test_size=0.25, random_state=42, stratify=labels)
probe = LogisticRegression(max_iter=1000)
probe.fit(x_train, y_train)

predictions = probe.predict(x_test)
print(accuracy_score(y_test, predictions))

Kedi ve köpek etiketlerinden yalnızca lojistik regresyon modeli öğrenir; YOLO26 kodlayıcısının ağırlıkları sabit kalır. Bu, modelin uçtan uca eğitim yoluyla uyum sağlama yeteneğini ölçmek yerine görsel temsilinin yararlılığını yalıtır.

Gerçek Dünya Uygulamaları ve Pratik Öneriler#

• Etiketlenmemiş ön eğitimi değerlendirme: Bir robotik ekibi, kodlayıcıyı büyük miktarda etiketlenmemiş depo videosu üzerinde önceden eğitebilir ve ardından forkliftler, çalışanlar ve paletlerden oluşan küçük bir etiketli veri kümesini kullanarak özelliklerini yoklayabilir. Yüksek yoklama doğruluğu, temsilin sınırlı anotasyonla sonraki görüntü sınıflandırma veya tespit görevlerini destekleyebileceğini gösterir.

• Alan uygunluğunu karşılaştırma: Bir tıbbi görüntüleme ekibi, birkaç aday kodlayıcıyı dondurabilir ve doku kategorileri için aynı doğrusal yoklamaları eğitebilir. Aynı bölme ve ön işleme koşullarında bir kodlayıcı belirgin biçimde daha iyi performans gösteriyorsa, bu kodlayıcının temsili sonraki ince ayar için daha güçlü bir başlangıç noktasıdır.

Adil karşılaştırmalar için veri kümesi bölmesini, özellik katmanını, ön işlemeyi, sınıflandırıcıyı ve optimizasyon ayarlarını sabit tut. Mümkün olduğunda hem doğrusal yoklamayı hem de tam ince ayarı değerlendir: yoklama, sabit özelliklerde erişilebilir bilgiyi ölçerken ince ayar, eksiksiz modelin ne kadar etkili biçimde uyum sağlayabildiğini ölçer.