Dataset Bias

Veri kümesi yanlılığı, bir makine öğrenimi modelini eğitmek için kullanılan veriler ile modelin hizmet edeceği kişiler, yerler veya koşullar arasındaki sistematik uyumsuzluktur. Modeller, eğitim verilerindeki tüm düzenlilikleri, verinin nasıl toplandığına ilişkin tesadüfler dâhil, öğrenir. Bu nedenle çarpık bir veri kümesi, modelin sık gördüğü durumlarda iyi, diğerlerinde ise kötü çalışmasına yol açar. Test verileri genellikle aynı kaynaktan toplandığı için bu sorun dağıtıma kadar gizli kalabilir. Antonio Torralba ve Alexei Efros, 2011'de "Bu Veri Kümesini Tanı" adlı bir oyunla bu noktayı ortaya koydu: Basit bir sınıflandırıcı, 12 popüler görüntü veri kümesinden bir resmin hangisinden geldiğini şansın çok üzerinde bir başarıyla tahmin edebiliyordu; çünkü her veri kümesinin kendine özgü, tanınabilir bir tarzı vardı.

Veri Kümesi Yanlılığı Türleri#

• Seçim yanlılığı: Veriler, hedef nüfustan ziyade kolay erişilebilen kaynaklardan gelir. İnternetteki fotoğraflar varlıklı Batı ortamlarına ağırlık verir. Ticari nesne tanıma hizmetlerinin başarısı, ayda 50 ABD dolarından az kazanan hanelerdeki ev eşyalarında, ayda 3.500 ABD dolarından fazla kazanan hanelerdekine göre yaklaşık %10 daha düşüktü. ABD'de çekilen eşyalarla Somali veya Burkina Faso'da çekilenler arasında 15 ila 20 puanlık fark vardı.
• Temsil yanlılığı: Bazı gruplar veya sınıflar, modelin öğrenebilmesi için çok seyrek görünür. Gender Shades denetimi, ticari cinsiyet sınıflandırıcılarının koyu tenli kadınları %34,7'ye varan oranlarda, açık tenli erkekleri ise en fazla %0,8 oranında yanlış sınıflandırdığını buldu. Nesne algılamada, az rastlanan sınıflardan oluşan uzun kuyruk, sınıf düzeyindeki aynı sorundur.
• Ölçüm ve görüntü yakalama yanlılığı: Kameralar, sensörler, konumlar ve aydınlatma; veri ile dağıtım ortamı arasında farklılık gösterir. Göğüs röntgenlerinde zatürreyi saptamak için eğitilen derin öğrenme modelleri, bir görüntünün hangi hastaneden geldiğini de belirleyebiliyordu. Hastaneler arasında zatürre oranları farklı olduğundan bu sinyal, doğruluğu artırdı ve modelin yeni konumlara iyi genellenememesine yol açtı. Bu, kestirme öğrenmenin bir türüdür.
• Etiket yanlılığı: Veri etiketleme, etiketleyicilerin yargılarını, tutarsız yönergeleri veya geçmiş kararları yansıtır; model de bu örüntüleri temel gerçek olarak kabul eder.
• Zamansal yanlılık: Moda, ürünler ve araçlar değiştikçe belli bir dönemde toplanan veriler dünyayı yansıtmamaya başlar.

Veri Kümesi Yanlılığı Nasıl Ortaya Çıkar?#

Çoğunlukla güneşli ve kuru iklimlerde eğitilen otonom sürüş algılama modeli, kar, yağmur ve karanlıkta yayaları daha az güvenilir biçimde algılar. Otomotivde yapay zekâ için otonom araçlar geliştiren ekipler, bu açığı kapatmak için gece ve kötü hava koşullarında veri toplar. Tıbbi görüntü analizinde, açık tenin baskın olduğu veri kümelerinde eğitilen dermatoloji modelleri koyu tende daha kötü performans gösterir; yüz tanıma sistemlerinde de Gender Shades'in ölçtüğü demografik farklar görülür. Her durumda genel doğruluk güçlü görünür; çünkü çoğunluk ortalamaya hâkimdir.

Aşağıdaki kod parçası, mekanizmayı scikit-learn ile somutlaştırıyor. B grubu, A grubundan farklı bir örüntü izliyor. Aynı rastgele orman modeli, önce B grubu verilerin %2'sini oluştururken, ardından veriler dengelenmişken 1.000 örnek üzerinde iki kez eğitiliyor:

import numpy as np
from sklearn.ensemble import RandomForestClassifier

rng = np.random.default_rng(0)


def sample(n, group):
    """Draw n points from group A (label set by feature 0) or group B (label set by feature 1)."""
    center = 0.0 if group == "A" else 3.0
    X = rng.normal(center, 1.0, size=(n, 2))
    return X, X[:, 0 if group == "A" else 1] > center


for n_a, n_b in [(980, 20), (500, 500)]:  # skewed, then balanced training sets of the same size
    Xa, ya = sample(n_a, "A")
    Xb, yb = sample(n_b, "B")
    model = RandomForestClassifier(random_state=0).fit(np.vstack([Xa, Xb]), np.concatenate([ya, yb]))
    acc = {g: model.score(*sample(2000, g)) for g in "AB"}  # held-out accuracy per group
    print(f"train A:B = {n_a}:{n_b} -> accuracy on A {acc['A']:.3f}, on B {acc['B']:.3f}")

Çarpık veri kümesinde eğitilen model, A grubunda kusursuz (1.000), B grubunda ise yalnızca %76,8 oranında doğru tahmin yapıyor. Aynı 1.000 örneği dengelemek, A grubunun başarısını hafifçe düşürerek %97,2'ye indirirken B grubununkini %98,3'e çıkarıyor. Çarpık eğitim verileri gibi 98:2 oranında karıştırılmış bir test kümesinde ilk modelin genel puanı yaklaşık %99,5 olur ve gruplar arasındaki farkı tamamen gizlerdi.

Veri Kümesi Yanlılığı ve İlgili Kavramlar#

• Algoritmik yanlılık: Çoğunluk sınıflarını kayıran bir kayıp fonksiyonu gibi, modelin tasarımı, hedefi veya dağıtımının neden olduğu çarpıklık. Veri kümesi yanlılığı algoritmik yanlılığın başlıca nedenlerinden biridir ve bu iki yanlılık çoğu zaman birbirini artırır.
• Yapay zekâda yanlılık: Yapay zekâ sistemlerindeki sistematik adaletsizlik için kullanılan genel terim; yapay zekâda adaletin karşıtıdır. NIST'in yapay zekâda yanlılığı belirleme ve yönetme standardı, yanlılık kaynaklarını sistemik, insani ve istatistiksel ya da hesaplamalı kategorilere ayırır. Temsiliyeti düşük veri kümeleri son kategoriye girer.
• Veri kayması: Dağıtımdan sonra girdi dağılımının değişmesi. Veri kümesi yanlılığı, veriler toplandığı andan itibaren vardır; başlangıçtaki veriler temsili olsa bile kayma sonradan bir uyumsuzluk yaratır.

Veri Kümesi Yanlılığını Bulma ve Azaltma#

Görüntü verilerindeki veri kümesi yanlılığını saptamak, belgelendirme ve ayrıştırılmış değerlendirmeyle başlar. Veri Kümeleri için Bilgi Formları, kullanıcıların verinin kimi temsil ettiğini değerlendirebilmesi için veriyi kimin, nasıl ve hangi amaçla topladığının kaydedilmesini önerir. Değerlendirme, tek bir ortalama yerine grup, konum, kamera veya koşul başına metrikleri ve her dilim için bir karışıklık matrisi sunmalıdır. Verinin kendisini incelemek de işe yarar: Ultralytics Platform içinde her veri kümesinin Sınıflar sekmesi, sınıf başına etiket sayılarını grafiğe döker ve dengesiz veriler için logaritmik ölçek seçeneği sunar. Kümeleme paneli de sınıfa veya bölüme göre renklendirilmiş görüntü gömmelerini çizerek eğitimden önce kapsama eksiklerini görünür kılar.

Çözümler, sorunun nedenine göre belirlenir. Zayıf dilimler için hedeflenmiş veri toplamak nedeni doğrudan ele alır; aktif öğrenme ise etiketlenecek yeni görüntüleri seçmeye yardımcı olur. Veri artırma aydınlatmayı, yönelimi ve ölçeği çeşitlendirir; sentetik veriler gece sahneleri veya alışılmadık kusurlar gibi nadir koşullardaki boşlukları doldurabilir. Yeterince temsil edilmeyen örneklere daha fazla ağırlık vermek veya bu örnekleri fazla örneklemek ya da dağılıma karşı dayanıklı optimizasyon ile en kötü performans gösteren grubu hedeflemek, eğitimin ödüllendirdiği davranışları değiştirir. Dağıtımdan sonra dilimlere göre ayrıştırılmış model izleme, koşullar değiştikçe ortaya çıkan boşlukları saptar.