Algorithmic Bias

Algoritmik önyargı, bilgisayar sistemlerinde adil olmayan sonuçlar üreten sistematik ve tekrarlanabilir hatadır; örneğin işe alımda, kredi vermede, kolluk faaliyetlerinde veya sağlık hizmetlerinde bir insan grubunu diğerine tercih etmek. Terim, elle yazılmış bir kredi puanlama formülünden bir derin sinir ağına kadar her türlü otomatik karar prosedürünü kapsar. Kusurlu bir kural her vakada uygulandığı için aynı hata binlerce, hatta milyonlarca kararda yinelenir. Makine öğrenmesi (ML) tartışmalarında algoritmik önyargı ile yapay zekâdaki önyargı eş anlamlıdır. Algoritmik önyargı daha eski ve kapsamlı bir terimdir ve genellikle kullanıma alınmış bir sistemin insanlar hakkında verdiği kararları ifade eder.

Algoritmik Önyargının Üç Kaynağı#

Batya Friedman ve Helen Nissenbaum'un 1996 tarihli "Bilgisayar Sistemlerinde Önyargı" başlıklı makalesi, önyargıyı kaynağına göre bugün de kullanılan bir çerçeveyle üç türe ayırdı:

• Önceden var olan önyargı: Sistem, toplumda veya tarihsel kayıtlarda zaten var olan önyargıları özümser.
• Teknik önyargı: İlgilenilen niceliği temsil etmek için hangi değişkenin kullanılacağı gibi bir tasarım tercihi, adaletsizliğe yol açar.
• Ortaya çıkan önyargı: Nüfus, bağlam veya sistemin gelecekteki veriler üzerindeki kendi etkisi değiştiğinde, sistem kullanıma alındıktan sonra önyargı ortaya çıkar.

Amazon, "women's" sözcüğünü içeren özgeçmişleri cezalandırmayı öğrenen deneysel işe alım modelini kullanımdan kaldırdı; bu, önceden var olan önyargıya örnektir: model, çoğunlukla erkeklerin gönderdiği on yıllık özgeçmişlerle eğitilmişti. ABD'de yaygın olarak kullanılan bir sağlık algoritması teknik önyargıya örnektir. Algoritma, hastaların gelecekteki sağlık harcamalarını sağlık ihtiyaçlarının göstergesi olarak tahmin ediyordu. Aynı hastalık düzeyine sahip Siyah hastalara daha az harcama yapıldığından, bu hastalar ek bakıma daha seyrek yönlendiriliyordu; Science dergisinde 2019'da yayımlanan bir çalışma, önyargı düzeltildiğinde ek yardım için işaretlenen Siyah hastaların oranının %17,7'den %46,5'e çıkacağını ortaya koydu. Tahmine dayalı polislik, bir geri besleme döngüsü üzerinden ortaya çıkan önyargının klasik örneğidir:

Araştırmacılar 2018'de bu döngünün kontrolden çıkabileceğini gösterdi: devriyeler gönderildikleri yerlerde daha fazla olay bulur, yeni kayıtlar sıralamayı doğrular ve başka yerlerdeki suç oranları eşit olsa bile model devriyeleri aynı mahallelere geri gönderir.

Adil Kararlarda Neden Ödünleşimler Vardır?#

ProPublica, 2016'da ABD mahkemelerinde kullanılan COMPAS risk puanını inceledi ve yeniden suç işlemeyen Siyah sanıkların, beyaz sanıklara kıyasla neredeyse iki kat daha sık yüksek riskli olarak etiketlendiğini buldu (%45'e karşı %23). Ürünü sağlayan şirket, puanın her iki grup için de eşit kalibre edildiğini, yani belirli bir puanın ırktan bağımsız olarak aynı yeniden suç işleme oranına karşılık geldiğini savundu. Her iki iddia da doğruydu. Kleinberg, Mullainathan ve Raghavan dahil araştırmacılar, iki grubun temel oranları farklı olduğunda kusurlu bir puanın hem her iki grup için kalibre edilemeyeceğini hem de eşit yanlış pozitif ve yanlış negatif oranları sağlayamayacağını kanıtladı. Aşağıdaki simülasyon, kusursuz kalibre edilmiş puanlar ve ortak bir eşikle bu çelişkiyi gösteriyor:

import numpy as np

rng = np.random.default_rng(0)

# True risk per person; group B has a higher base rate than group A
risks = {"A": rng.beta(2, 5, 100_000), "B": rng.beta(3, 4, 100_000)}

for name, risk in risks.items():
    # Outcomes follow the risk exactly, so the score is perfectly calibrated in both groups
    outcome = rng.random(risk.size) < risk
    flagged = risk > 0.5  # one shared decision threshold

    # False positive rate: share of people without the outcome who were flagged anyway
    fpr = flagged[~outcome].mean()
    print(f"group {name}: base rate {outcome.mean():.2f}, false positive rate {fpr:.2f}")

A grubunun temel oranı 0,29, yanlış pozitif oranı 0,06; B grubunun temel oranı 0,43, yanlış pozitif oranı ise 0,23'tür: aynı kalibre edilmiş puan ve eşik, sonucu hiçbir zaman yaşamayan B grubu üyelerini neredeyse dört kat daha sık işaretler. Puanları kararlara dönüştüren her sistem bu seçimle karşılaşır. Ultralytics YOLO26, her algılamaya tek bir güven eşiği uygular (conf; tahmin için varsayılan değer 0,25'tir). Bu nedenle algılamaları daha düşük puanlanan gruplar, örneğin eğitim verilerinde nadir görülen yayalar, aynı ayarda daha fazla algılamayı kaybeder.

Algoritmik Önyargı ve İlgili Terimler#

• Veri kümesi önyargısı: Temsil edici olmayan örnekleme gibi verinin kendisindeki kusurlar. Veri kümesi önyargısı, tasarım tercihleri ve kullanıma alma etkilerinin yanı sıra algoritmik önyargının bir nedenidir.
• Yapay zekâda adalet: Demografik eşitlik veya eşit hata oranları gibi adalet ölçütlerini ve bunları sağlama yöntemlerini belirleyen alan.
• Veri kayması: Kullanıma alındıktan sonra giriş verilerinde meydana gelen ve başlangıçta adil olduğu test edilmiş bir modelde ortaya çıkan önyargıya yol açabilen değişiklik.

Algoritmik Önyargıyı Denetleme ve Azaltma#

Denetimler, Fairlearn ve IBM AI Fairness 360 gibi açık kaynak araç takımlarını kullanarak gruplar arasındaki sonuçları ve hata oranlarını karşılaştırır. Düzeltmeler üç aşamada yapılır: eğitim verilerini yeniden ağırlıklandıran veya yeniden örnekleyen ön işleme, eğitim amacına adalet kısıtları ekleyen işleme sırasında yapılan düzenlemeler ve grup başına karar eşiklerini ayarlayan son işleme. Sürekli model izleme, yayımlama öncesi denetimlerin gözden kaçırdığı yeni ortaya çıkan önyargıları yakalar. Düzenlemeler de giderek bu tür denetimleri zorunlu kılıyor: 5 Temmuz 2023'ten beri yürürlükte olan New York Şehri Yerel Yasası 144, bağımsız bir denetçi son bir yıl içinde işe alım araçlarını önyargı açısından incelemedikçe ve işveren cinsiyet ile ırk veya etnik kökene göre seçim oranlarını karşılaştıran etki oranlarını içeren bir özeti yayımlamadıkça, işverenlerin otomatik işe alım araçlarını kullanmasını yasaklıyor.