Shortcut Learning

Kestirme öğrenme, modelin eğitim görevini, eğitim verilerinde etiketi öngören ancak öğrenmesi amaçlanan kavramla ilgisi olmayan basit bir ipucuyla çözdüğü zaman ortaya çıkar. İpucunun bulunduğu her test kümesinde modelin puanı yüksektir; ipucu ortadan kalkınca başarısız olur. Robert Geirhos ve çalışma arkadaşları, standart kıyaslamalarda iyi sonuç veren ancak gerçek dünya kullanımı gibi daha zor koşullara aktarılamayan karar kuralları olarak kestirmeleri tanımladıkları 2020 tarihli Nature Machine Intelligence değerlendirme yazıları Shortcut Learning in Deep Neural Networks içinde bu sorunu açıkladı. Klasik benzetme, aritmetik yapıyor gibi görünen ama eğiticisinin beden dilini okuyan Clever Hans adlı attır.

Yayımlanmış Modellerdeki Kestirmeler#

Yayımlanmış birçok modelde kestirmeler bulundu:

• Tıbbi görüntülerde hastane imzaları: John Zech ve çalışma arkadaşlarının 2018'de yaptığı bir çalışmada, çeşitli hastane sistemlerinden alınan göğüs röntgenleriyle eğitilen zatürre sınıflandırıcıları, görüntünün hangi hastaneden geldiğini belirleyebiliyordu. Hastanelerdeki hastalık oranları farklı olduğundan, kaynağa ilişkin bu bilgi tanıyı tahmin etmeye yardımcı oluyordu. Eğitim verilerinde yer almayan hastanelerde performans genellikle daha düşüktü; bu, radyolojide AI için tekrarlayan bir risktir.
• COVID-19 röntgen görüntüleri: Alex DeGrave ve çalışma arkadaşlarının 2021'de yaptığı analiz, COVID-19 algılayıcılarının akciğer bulguları yerine metin işaretlerine, hastanın pozisyonuna ve veri kaynakları arasındaki farklılıklara dayandığını ve yeni hastanelerden alınan verilerde doğruluklarının büyük bölümünü kaybettiğini gösterdi.
• Kamera tuzağı fotoğraflarındaki arka planlar: Sara Beery ve çalışma arkadaşlarının 2018 tarihli "Recognition in Terra Incognita" çalışması, görüntü sınıflandırma modellerinin hayvanları fotoğraflandıkları yer ve arka planlarla ilişkilendirdiğini gösterdi. Bu nedenle yeni kamera noktalarında doğruluk düştü; bu, yaban hayatı korumada AI için bilinen bir sorundur. Makale, ticari bir görüntü sınıflandırıcısının tanıyamadığı sahildeki bir inekle başlarken Alp meralarındaki inekler doğru etiketleniyordu.
• Şekil yerine doku: ImageNet üzerinde eğitilmiş evrişimli sinir ağları, Geirhos ve çalışma arkadaşlarının 2019'da gösterdiği üzere, kedi biçimi ve fil derisi dokusu içeren bir görüntüyü fil olarak sınıflandırdı.

Standart Doğrulama Bunu Neden Kaçırır#

Rastgele bir eğitim-doğrulama bölmesi kestirmeyi her iki parçaya da kopyalar; bu nedenle doğrulama verilerindeki doğruluk mükemmel görünür. Başarısızlık yalnızca farklı biçimde toplanan verilerde, örneğin yeni bir konumda, kamerada, hastanede, mevsimde veya zaman aralığında ortaya çıkar.

Kestirme yolla öğrenmeyi ilişkili sorunlardan ayıran özellik budur:

• Aşırı öğrenme: Eğitime özgü gürültüyü ezberlemektir; eğitim ve doğrulama puanları arasındaki farkla kendini gösterir. Kestirme, aynı kaynaktan alınan bir doğrulama kümesine kusursuz biçimde genellenebilir.
• Veri sızıntısı: Tahmin sırasında bulunmayacak bilgiler özelliklere veya bölmelere sızar. Sızıntı, kestirmenin veri kümesine girmesinin belirli ve çoğu zaman kazara gerçekleşen bir yoludur.
• Veri kümesi yanlılığı: Toplanan verilerdeki çarpıklıktır. Örneğin tüm pozitif örneklerin tek bir tarayıcıdan gelmesi, kestirmenin tutunabileceği bir ipucu sağlar.

scikit-learn ile birkaç satır kod, iki özellik üzerinde kurulan bir lojistik regresyon ile bu başarısızlığı yeniden üretir: zayıf, gerçek bir sinyal ve eğitimde etiketi neredeyse kusursuz biçimde izleyen bir kestirme.

import numpy as np
from sklearn.linear_model import LogisticRegression

rng = np.random.default_rng(0)
labels = rng.integers(0, 2, 2000)

# A weak genuine signal and a shortcut that tracks the label almost perfectly
signal = labels + rng.normal(0, 1.0, labels.size)
shortcut = labels + rng.normal(0, 0.1, labels.size)

model = LogisticRegression()
model.fit(np.column_stack([signal, shortcut]), labels)

# At deployment the shortcut no longer carries any label information
shifted = rng.permutation(shortcut)
print(f"In-distribution accuracy: {model.score(np.column_stack([signal, shortcut]), labels):.2f}")
print(f"Shifted accuracy: {model.score(np.column_stack([signal, shifted]), labels):.2f}")

Kestirme karıştırıldığında doğruluk 1,00'dan 0,52'ye düşer. Gerçek sinyal tek başına yaklaşık %70 doğruluğu destekler; ancak model kestirmeye, sinyalin katsayısından yaklaşık 18 kat büyük bir katsayı verdiği için daha zor ipucundan neredeyse hiçbir şey öğrenmedi.

Kestirmeleri Bulma ve Ortadan Kaldırma#

En güvenilir testte rastgele seçilmiş görüntüler yerine, eğitim dışında tutulan tüm konumlar, kameralar veya zaman aralıklarından alınan ve kestirmenin izleyemeyeceği veriler kullanılır. Bu puanla dağılım içi puan arasındaki büyük fark; arka plan, aydınlatma veya sensör ipuçlarına işaret eder. Veri keşfi, eğitimden önce aday ipuçlarını bulur. Ultralytics Platform içindeki Kümeleme paneli, görsel açıdan benzer görüntüleri 2 boyutlu bir haritada birbirine yakın konumlandırır ve bunları sınıfa, bölmeye veya görüntü genişliği ve yüksekliğine göre renklendirir. Böylece görüntüleri tek bir kameradan geldiği için kendi adasını oluşturan bir sınıf, YOLO26 modeli nesne yerine kamerayı öğrenmeden önce dikkat çeker.

Karşıolgusal düzenlemeler, şüphelenilen bir ipucunu doğrudan sınar. Arka planı değiştirmek, bir bindirmeyi kaldırmak veya işareti kırpıp çıkarmak doğru tahmini değiştirmez; kestirmeye dayalı tahmini ise tersine çevirir. Açıklanabilir AI (XAI) yöntemlerinden belirginlik haritaları, tahmini hangi piksellerin etkilediğini gösterir. COVID-19 çalışmasında bu haritalar akciğerler yerine görüntü kenarlarını ve metni vurguladı.

Bir kestirmeyi düzeltmek genellikle veriyi değiştirmeyi gerektirir. Örneğin her tepsi ve arka planda fotoğraflanan kusurlu parçalar gibi, ipucuyla etiketin uyuşmadığı örnekleri toplamak korelasyonu bozar. Rengi, ölçeği ve konumu değiştiren veri artırma, bu özelliklere bağlı ipuçlarını zayıflatır. Alan rastgeleleştirme de dokuları, aydınlatmayı ve arka planları rastgeleleştirerek sentetik görüntülerde aynı etkiyi yaratır. Kestirmeyi taşıyan gruplar biliniyorsa, grup dağılımsal açıdan sağlam optimizasyonu ortalama kayıp yerine en kötü performanslı grubun kaybını en aza indirir.