Explainable AI (XAI)

Açıklanabilir yapay zekâ (XAI), yapay zekâ (AI) modellerinin çıktılarını insanlar için anlaşılır hâle getiren yöntemler bütünüdür: tahmini hangi girdilerin etkilediği, modelin genel olarak nasıl davrandığı ve yanıtlarına ne zaman güvenilebileceği. Milyonlarca veya milyarlarca parametreye sahip derin öğrenme (DL) modelleri, doğru ancak anlaşılması güç kara kutular gibi çalışır; XAI ise geliştiricilere, kullanıcılara, denetçilere ve düzenleyicilere modelin iç işleyişini görme olanağı verir. Açıklamalar modellerdeki hataları ayıklamak, algoritmik önyargıyı saptamak, kararları etkilenen kişilere gerekçelendirmek ve yasal gereklilikleri karşılamak için kullanılır. DARPA'nın 2017'de başlattığı Açıklanabilir Yapay Zekâ programı, terimi yaygınlaştırdı.

Açıklanabilirlik ve Yorumlanabilirlik#

Bu iki sözcük çoğu zaman eş anlamlı kullanılır. Araştırmacılar aralarında ayrım yaptığında, yorumlanabilir modeller tasarımları gereği anlaşılabilir modellerdir; örneğin doğrusal modeller, küçük karar ağaçları ve kavram darboğazı modelleri. Açıklanabilirlik yöntemleri ise bu özelliğe sahip olmayan modeller için sonradan açıklamalar üretir. Cynthia Rudin, 2019 tarihli Nature Machine Intelligence makalesinde, sonradan üretilen bir açıklamanın modelin gerçekte ne hesapladığını yanlış yansıtabileceğinden, yüksek riskli kararlarda yorumlanabilir modeller kullanılması gerektiğini savundu.

Yakın anlamlı iki terim daha geniş veya daha derin kapsamlıdır. Yapay zekâda şeffaflık, veri kaynakları, tasarım ve amaçlanan kullanım dâhil olmak üzere tüm sistemin açıklığını kapsar. Mekanik yorumlanabilirlik, bir ağın iç devrelerini tersine mühendislikle çözümlemeye dayanır; bu yaklaşım çoğunlukla büyük dil modellerinde kullanılır.

Açıklama Türleri#

Açıklamalar kapsamlarına ve ne ölçüde erişim gerektirdiklerine göre farklılık gösterir. Yerel açıklama, tek bir kredi başvurusunun neden reddedildiği gibi tek bir tahmini açıklar; genel açıklama ise hangi özelliklerin genel olarak en önemli olduğu gibi tüm tahminlerdeki davranışı tanımlar. Modelden bağımsız yöntemler modeli kara kutu olarak ele alıp yalnızca girdilerini ve çıktılarını sorgular; modele özgü yöntemler ise gradyanlar veya dikkat ağırlıkları gibi modelin iç işleyişini kullanır.

Yaygın XAI Teknikleri#

• SHAP (Shapley Toplamsal Açıklamaları): İşbirlikçi oyun teorisindeki Shapley değerlerini kullanarak her özelliğe tahminden bir pay atar; böylece katkıların toplamı, tahmin ile başlangıç değeri arasındaki farka tam olarak eşit olur.
• LIME (Yerel Yorumlanabilir Modelden Bağımsız Açıklamalar): Bir girdiyi birçok kez değiştirir, tahminin nasıl değiştiğini kaydeder ve kara kutuyu o girdinin yakınında taklit eden seyrek doğrusal bir model gibi basit bir vekil model uydurur.
• Permütasyon özellik önemi: Her seferinde tek bir özelliği karıştırır ve model puanının ne kadar düştüğünü ölçer; bu, her modelle çalışan küresel bir açıklamadır.
• Karşıolgusal açıklamalar: Bir kredinin onaylanacağı gelir düzeyi gibi, kararı tersine çevirecek en küçük girdi değişikliğini bildirir.
• Belirginlik haritaları: Bir görüntü modelinin çıktısını en çok etkileyen pikselleri vurgular. Grad-CAM gibi sınıf etkinleştirme haritası (CAM) yöntemleri, kanıtların kaba bir ısı haritasını üretmek için ağın özellik haritalarını tahmin edilen sınıf puanının gradyanlarına göre ağırlıklandırır.

Ultralytics YOLO26, tahmin işlemine bir CAM yöntemi entegre eder: visualize=True ayarlandığında, tespit başlığına giren özellik haritalarının her konumunu tahmin edilen sınıfa doğru kendi pozitif gradyanına göre ağırlıklandıran bir LayerCAM ısı haritası kaydedilir:

from ultralytics import YOLO

# COCO üzerinde önceden eğitilmiş bir YOLO26 tespit modeli yükle
model = YOLO("yolo26n.pt")

# Yalnızca "person" tespitlerini (sınıf 0) açıklayan bir LayerCAM ısı haritası kaydet
model.predict("https://ultralytics.com/images/bus.jpg", visualize=True, classes=[0])

Çalıştırma klasörüne bus_cam.jpg eklenir; bu, sıcak renklerin kişi puanlarını yükselten pikselleri işaretlediği, görüntünün üzerine bindirilmiş bir ısı haritasıdır.

Açıklamalar Yanıltıcı Olduğunda#

Bir açıklama ikna edici görünüp yine de model hakkında yanlış olabilir. Araştırmacılar 2018 tarihli "Saliency Maps için Sağlamlık Kontrolleri" çalışmasında, bir ağın eğitimli ağırlıklarını rastgeleleştirdi ve yaygın kullanılan birkaç belirginlik yönteminin öncekiyle neredeyse aynı haritaları ürettiğini buldu; bu da haritaların modelin öğrendiği şeylerden çok girdi görüntüsündeki kenarları yansıttığını gösterdi. 2020 tarihli bir çalışma, kasıtlı olarak yanlı bir sınıflandırıcının LIME ve SHAP'in zararsız özellikler bildirmesini sağlayacak şekilde sarılabileceğini, ancak altta yatan kararların ayrımcı kalabileceğini gösterdi. NIST'in açıklanabilir yapay zekânın dört ilkesi bu sorunu doğrudan ele alır: Açıklamalar mevcut olmalı, hedef kitlesi için anlamlı olmalı ve sistemin işleyişini doğru biçimde yansıtmalıdır; ayrıca sistem yalnızca tasarlandığı koşullar içinde çalışmalıdır.

Uygulamalar ve Düzenlemeler#

• Tıbbi görüntü analizi: Isı haritaları, radyoloğun modelin bir röntgende lezyonun kendisini işaretlediğini doğrulamasını ve görüntüye işlenmiş tarayıcı işaretlerine ya da metne odaklanan modelleri fark etmesini sağlar.
• Kestirme tespiti: Özgün LIME makalesindeki açıklamalar, arka plandaki kara dayanan, kasıtlı olarak kusurlu bir husky-kurt sınıflandırıcısını ortaya çıkardı.
• Kredi ve borç verme: ABD'deki kredi kuruluşları, Eşit Kredi Fırsatı Yasası uyarınca başvuru sahiplerine ret kararının belirli başlıca nedenlerini bildirmelidir; karmaşık algoritmalarla verilen kararlar için istisna yoktur.

GDPR, otomatik kararlara tabi kişilere ilgili mantık hakkında anlamlı bilgi edinme hakkı tanır; AB Yapay Zekâ Yasası'nın 13. maddesi, yüksek riskli sistemlerin dağıtıcıların çıktılarını yorumlayabileceği kadar şeffaf olmasını zorunlu kılar ve 86. madde, yüksek riskli bir sisteme dayalı karardan etkilenen kişiye yapay zekâ sisteminin rolü ve kararın temel unsurları hakkında açık ve anlamlı açıklamalar alma hakkı verir.