Linear Probing

Doğrusal inceleme (linear probing), dondurulmuş özelliklerin üzerinde basit bir doğrusal öngörücü eğiterek bir modelin öğrendiği gösterimlerin ne kadar faydalı olduğunu ölçen bir değerlendirme ve uyarlama tekniğidir. Önceden eğitilmiş kodlayıcı (encoder) değiştirilmeden bırakılır; etiketli verilere yalnızca doğrusal bir katman —sınıflandırma için genellikle lojistik regresyon— uyarlanır. Güçlü bir inceleme performansı, kodlayıcının embeddings yapısının ilgili kavramları basit karar sınırlarıyla ayrılabilecek şekilde zaten düzenlediğini gösterir.

Machine learning alanında bu terim, bir çakışmadan sonra komşu depolama konumlarının kontrol edildiği karma tablo (hash table) içindeki doğrusal inceleme ile ilişkili değildir. Yapay zeka ve derin öğrenmede, özellikle bir gösterimin doğrusal bir modelle incelenmesini ifade eder.

Doğrusal İnceleme Nasıl Çalışır?#

Tipik bir sinir ağı, ham girdiyi bir özellik vektörüne dönüştüren bir kodlayıcı veya backbone ve ardından göreve özel bir tahmin kafası içerir. Doğrusal inceleme dört adımdan oluşur:

1. Bir kodlayıcıyı önceden eğitin veya yükleyin.
2. Eğitimin bunları güncelleyememesi için parametrelerini dondurun.
3. Etiketli örnekler üzerinde feature extraction gerçekleştirin.
4. Bu sabit özellikleri kullanarak doğrusal bir sınıflandırıcı eğitin.

Çok sınıflı sınıflandırma için inceleme aracı genellikle softmax çıktısına sahip tek bir yoğun katman veya bir scikit-learn logistic regression classifier olur. Lojistik regresyon doğrusal olmayan bir olasılık dönüşümü içerse de, sınıf puanları ve karar sınırları girdi özelliklerinin doğrusal fonksiyonlarıdır.

Doğrusal inceleme, özellikle bir kodlayıcının etiketlenmemiş verilerden öğrendiği self-supervised learning süreçlerinde yaygındır. Keras NNCLR example, dondurulmuş bir kodlayıcının özellikleri üzerinde yoğun bir sınıflandırıcı eğiterek bunu gösterir. İnceleme aracının kapasitesi sınırlı olduğundan, karmaşık doğrusal olmayan dönüşümleri öğrenerek zayıf gösterimleri kolayca telafi edemez.

Doğrusal İnceleme Performansı Ne Ortaya Koyar?#

Doğrusal bir inceleme, bir gösterimde bilginin hem mevcut hem de kolayca erişilebilir olup olmadığını test eder. Kedi ve köpek görüntüleri gömme uzayında ayrılabilir gruplar oluşturuyorsa, doğrusal bir sınıflandırıcı bunları çok az eğitilebilir parametreyle ayırt edebilir. Bilgi daha karmaşık bir düzenlemeyle kodlanmışsa, doğrusal inceleme başarısız olsa bile doğrusal olmayan bir sınıflandırıcı başarılı olabilir.

Bu nedenle inceleme doğruluğu, model kalitesinin eksiksiz bir ölçümü olarak değil, bir teşhis aracı olarak ele alınmalıdır. Şu faktörlerden etkilenebilir:

• Seçilen kodlayıcı katmanı ve gömme boyutu.
• Girdi çözünürlüğü ve ön işleme.
• Etiketli eğitim verilerinin miktarı ve dengesi.
• Doğrusal modele uygulanan düzenlileştirme (regularization).
• Eğitim ve değerlendirme setleri arasında veri sızıntısı.

Tercihen scikit-learn'ün train-test splitting utility gibi tekrarlanabilir, tabakalandırılmış bir prosedürle oluşturulmuş ayrılmış bir validation dataset kullanın. Doğruluğun ötesinde, bir classification metrics report gösterimin tutarlı bir şekilde ayırmadığı sınıfları ortaya çıkarabilir.

Doğrusal İnceleme ve İlgili Yöntemler#

Doğrusal inceleme, daha geniş aktarım ve gösterim değerlendirme yöntemleri ailesine aittir, ancak birkaç ayrım önemlidir:

• Doğrusal inceleme ve fine-tuning: Bir inceleme aracı yalnızca doğrusal kafayı günceller. İnce ayar (fine-tuning) kodlayıcı ağırlıklarının bir kısmını veya tamamını güncelleyerek modele daha fazla esneklik sağlar ancak ek hesaplama gerektirir ve overfitting riskini artırır. TensorFlow transfer learning guide, ince ayar için isteğe bağlı olarak dondurmayı kaldırmadan önce temel bir modeli dondurmayı açıklar.
• Doğrusal inceleme ve özellik çıkarma: Özellik çıkarma gömmeleri üretir; doğrusal inceleme ise bu gömmeler üzerinde bir öngörücü eğitir ve değerlendirir.
• Doğrusal inceleme ve doğrusal regresyon: Doğrusal regresyon sürekli değerleri tahmin eder. Sınıflandırma incelemeleri genellikle lojistik regresyon veya bir softmax katmanı ile ayrık sınıfları tahmin eder.
• Doğrusal inceleme ve en yakın komşu değerlendirmesi: Doğrusal bir inceleme sınıf sınırlarını öğrenir. En yakın komşu yöntemleri, bu sınırları öğrenmeden yakınlarda depolanan gömmelere göre örnekleri sınıflandırır. PyTorch transfer learning tutorial, yakından ilgili dondurulmuş kodlayıcı iş akışını sabit bir özellik çıkarıcı olarak adlandırır.

Ultralytics YOLO ile Doğrusal İnceleme#

Önceden eğitilmiş bir Ultralytics YOLO26 classification model, belgelenmiş model.embed() API aracılığıyla görüntü gömmeleri üretebilir. Aşağıdaki örnek, özellikleri önceden hesaplayarak kodlayıcıyı örtük olarak dondurur ve ardından CIFAR-10 kedi ve köpeklerini ayırt etmek için doğrusal bir inceleme uygular:

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split
from torchvision.datasets import CIFAR10
from ultralytics import YOLO

dataset = CIFAR10(root="data", train=False, download=True)
samples = [(image, label) for image, label in dataset if label in (3, 5)][:400]
images, labels = zip(*samples, strict=True)

encoder = YOLO("yolo26n-cls.pt")
embeddings = encoder.embed(list(images), verbose=False)
features = np.stack([embedding.cpu().numpy() for embedding in embeddings])

x_train, x_test, y_train, y_test = train_test_split(features, labels, test_size=0.25, random_state=42, stratify=labels)
probe = LogisticRegression(max_iter=1000)
probe.fit(x_train, y_train)

predictions = probe.predict(x_test)
print(accuracy_score(y_test, predictions))

Kedi ve köpek etiketlerinden yalnızca lojistik regresyon modeli öğrenir; YOLO26 kodlayıcı ağırlıkları sabit kalır. Bu, uçtan uca eğitim yoluyla uyum sağlama yeteneğini ölçmek yerine görsel gösteriminin faydasını yalıtır.

Gerçek Dünya Uygulamaları ve Pratik Kılavuz#

• Etiketlenmemiş ön eğitimi değerlendirme: Bir robotik ekibi, forkliftler, çalışanlar ve paletlerden oluşan küçük bir etiketli veri kümesini kullanarak özelliklerini incelemeden önce, etiketlenmemiş büyük hacimli depo videoları üzerinde bir kodlayıcıyı önceden eğitebilir. Yüksek inceleme doğruluğu, gösterimin sınırlı açıklamayla sonraki image classification veya tespiti destekleyebileceğini gösterir.

• Etki alanı uyumluluğunu karşılaştırma: Tıbbi görüntüleme ekibi çeşitli aday kodlayıcıları dondurabilir ve doku kategorileri için özdeş doğrusal incelemeler eğitebilir. Bir kodlayıcı aynı bölünme ve ön işleme altında belirgin şekilde daha iyi performans gösterirse, bunun gösterimi daha sonraki ince ayar için daha güçlü bir başlangıç noktasıdır.

Adil karşılaştırmalar için veri kümesi bölünmesini, özellik katmanını, ön işlemeyi, sınıflandırıcıyı ve optimizasyon ayarlarını sabit tutun. Mümkün olduğunda hem doğrusal incelemeyi hem de tam ince ayarı değerlendirin: inceleme aracı sabit özelliklerde erişilebilir bilgileri ölçerken, ince ayar eksiksiz modelin ne kadar etkili bir şekilde uyum sağlayabileceğini ölçer.