Bias in AI

Yapay zekâ yanlılığı olarak da adlandırılan AI yanlılığı, bir yapay zekâ (AI) sisteminde bazı kişi grupları için daha az doğru veya daha adaletsiz sonuçlara yol açan sistematik hatadır; bu gruplar çoğunlukla ten rengi, cinsiyet, yaş, lehçe veya gelir gibi özelliklerle tanımlanır. Rastgele hatadan farklıdır; çünkü tutarlıdır: aynı grup tekrar tekrar daha kötü sonuç alır. Yaygın kullanımda AI yanlılığı, algoritmik yanlılığın eş anlamlısıdır. Algoritmik yanlılık daha eski bir terimdir ve öğrenme içermeyen sabit formüller ile puanlama kurallarının verdiği otomatik kararları da kapsar. Bir sistemin oluşturulma sürecinin her aşamasında yanlılık ortaya çıkabildiğinden, makine öğrenimi (ML) sistemlerine yönelik AI etiği çerçeveleri yanlılığı tüm yaşam döngüsünün bir özelliği olarak ele alır.

Yanlılığın Kaynakları#

NIST'in Yapay Zekâda Yanlılığı Belirleme ve Yönetme Standardına Doğru başlıklı raporu (SP 1270), AI yanlılığını üç kategoriye ayırır: kurumlardan ve tarihten kaynaklanan sistemik yanlılık; veri ve algoritmalardan kaynaklanan istatistiksel ve hesaplamalı yanlılık; sistemi geliştiren ve kullanan kişilerden kaynaklanan insan yanlılığı. Tipik bir ML işlem hattında bu kategoriler belirli aşamalarda ortaya çıkar:

• Temsil ve veri kümesi yanlılığı: Eğitim verilerinde az temsil edilen gruplar daha kötü tahminler alır. Çoğunlukla Kuzey Amerika ve Avrupa fotoğraflarıyla eğitilen bir bilgisayarlı görü modeli, diğer bölgelerdeki nesne ve sahneleri daha az güvenilir biçimde tanır.
• Ölçüm: Bir özellik veya etiket, bir grup için daha düşük doğrulukla ölçüm yapar. Nabız oksimetreleri koyu tenli hastalarda kan oksijenini olduğundan yüksek tahmin eder. New England Journal of Medicine'de yayımlanan 2020 tarihli bir araştırmaya göre, koyu tenli hastalardaki gizli düşük oksijen, siyah hastalarda beyaz hastalara kıyasla neredeyse üç kat daha sık tespit edilemedi.
• Etiketleme: Etiketleyiciler, modelin öğrendiği etiketlere kendi yargılarını yansıtır. Nefret söylemi tespiti üzerine 2019 tarihli bir araştırma, yaygın kullanılan veri kümelerinin Afrika kökenli Amerikalı İngilizcesindeki tweetleri çok daha sık saldırgan olarak etiketlediğini ve bunlarla eğitilen modellerin bu tweetleri diğerlerine kıyasla iki kata kadar daha sık işaretlediğini ortaya koydu.
• Modelleme ve değerlendirme: Ortalama hatayı en aza indirmek çoğunluk grubunu kayırır ve tek bir genel puan başarısız olan bir grubu gizleyebilir. Modeller, grup üyeliğiyle rastlantısal olarak ilişkili kestirme özellikleri de öğrenebilir.
• Dağıtım: Hiç test edilmediği bir nüfus veya bağlamda kullanılan ya da çıktıları daha sonra öğreneceği verileri şekillendiren bir model, zamanla yeni yanlılıklara sürüklenir.

Gerçek Dünya Örnekleri#

• Gender Shades: 2018'de yapılan bu denetim, ticari cinsiyet sınıflandırıcılarının koyu tenli kadınları %34,7'ye varan oranda, açık tenli erkekleri ise en fazla %0,8 oranında yanlış sınıflandırdığını ortaya koydu.
• Yüz tanıma: NIST'in yüz tanıma algoritmalarına yönelik 2019 değerlendirmesi, birçok algoritmada bazı demografik gruplar için yanlış pozitif oranlarının 10 ila 100 kat daha yüksek olduğunu ortaya koydu.
• Yaya algılama: Bir sürüş veri kümesindeki yayaları ten rengine göre etiketleyen 2019 tarihli bir araştırma, nesne algılama modellerinin koyu tenli yayalarda daha düşük doğruluk gösterdiğini buldu; günün saati ve örtülme bu farkı açıklamıyordu.
• Dermatoloji AI: Çoğunlukla açık ten görüntüleriyle eğitilen cilt lezyonu sınıflandırıcıları, çeşitli klinik görüntüler içeren bir kümede test edildiğinde koyu tende daha kötü performans gösterdi; çeşitli görüntülerle ince ayar yapmak bu farkı azalttı.

Yanlılığın Ölçülmesi#

Ayrıştırılmış değerlendirme yoluyla yanlılık görünür hâle gelir: model kartlarının önerdiği gibi aynı metrik her grup için ayrı ayrı hesaplanır. Aşağıdaki örnekte bir sensör, hastaların %5'ini oluşturan B grubu için ölçümü 1.0 birim fazla verir; bu durum nabız oksimetresi sorununu yansıtır:

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

rng = np.random.default_rng(0)
group_b = rng.random(20000) < 0.05  # 5% of patients belong to group B
oxygen = rng.normal(size=20000)  # true blood oxygen, standardized
y = oxygen < 0  # condition to detect: low oxygen

# The sensor reads 1.0 too high for group B (measurement bias)
reading = (oxygen + 1.0 * group_b).reshape(-1, 1)
x_tr, x_te, y_tr, y_te, _, g_te = train_test_split(reading, y, group_b, random_state=0)

model = LogisticRegression()
model.fit(x_tr, y_tr)
pred = model.predict(x_te)

# Disaggregated evaluation: score each group separately
print(f"overall accuracy: {np.mean(pred == y_te):.3f}")
print(f"group A accuracy: {np.mean(pred[~g_te] == y_te[~g_te]):.3f}")
print(f"group B accuracy: {np.mean(pred[g_te] == y_te[g_te]):.3f}")

Model genel olarak 0.967, A grubunda 0.981 puan alırken, yüksek ölçümlerin düşük oksijen durumlarını gizlediği B grubunda yalnızca 0.706 puan alır. Gruplar arasında aynı yanlış negatif oranları gibi grup düzeyindeki adalet metrikleri, AI'da adalet kapsamındaki bu kontrolleri biçimselleştirir.

Yanlılığın Azaltılması#

Azaltım verilerle başlar: yeterince temsil edilmeyen gruplardan daha fazla örnek toplamak, hatalı ölçümleri ve etiketleri düzeltmek ve gerçek örneklerin az olduğu yerlerde veri artırma veya sentetik veri eklemek. Eğitim sırasında nadir gruplara daha fazla ağırlık verilebilir veya bu gruplar yeniden örneklenebilir ya da adalet kısıtları eklenebilir; son işleme aşamasında ise karar eşikleri ayarlanabilir. Ultralytics Platform, bir veri kümesindeki her sınıfın açıklama sayısını grafiklerle gösterir; YOLO26 eğitimi için kullanılan cls_pw argümanı ise sınıflandırma kaybını sınıf sıklığının tersinin belirtilen kuvvetine göre ağırlıklandırarak nadir sınıfların daha fazla etkili olmasını sağlar. NIST Yapay Zekâ Risk Yönetimi Çerçevesi, kuruluşların bir sistemin yaşam döngüsü boyunca yanlılığı ölçmesini ister; AB Yapay Zekâ Yasası'nın 10. maddesi de yüksek riskli yapay zekâ sistemlerinin sağlayıcılarından eğitim, doğrulama ve test verilerini olası yanlılıklar açısından incelemelerini şart koşar.

Yapay Zekâdaki Yanlılık ve Yanlılığın Diğer Anlamları#

• Yanlılık-varyans ödünleşimi: İstatistiksel yanlılık, verideki örüntüyü yakalayamayacak kadar basit bir modelin neden olduğu hatadır; bu da tüm gruplarda benzer şekilde eksik öğrenmeye yol açar.
• Yanlılık parametreleri: Bir sinir ağında her nöronun yanlılığı, ağırlıklı girdilerine eklenen öğrenilebilir bir ofset, yani doğrusal denklemin sabit terimidir.