Mechanistic Interpretability

Mekanistik Yorumlanabilirlik, eğitilmiş sinir ağlarının iç işleyişini tersine mühendislik yöntemiyle analiz etmeye odaklanan makine öğrenimi alanındaki ileri düzey bir araştırma dalıdır. Bir modeli kara kutu olarak ele almak yerine, bu yaklaşım modelin belirli bir çıktı üretmesine neden olan kesin matematiksel devreleri, spesifik nöronları ve bağlantılı yolları anlamayı hedefler. Geliştiriciler, bu iç yapıları insan tarafından anlaşılabilir kavramlarla eşleştirerek, yapay zeka sistemlerinin bilgiyi katman katman nasıl işlediğini çözebilirler.

Link to this sectionMekanistik Yorumlanabilirlik ve Açıklanabilir Yapay Zeka (XAI) Karşılaştırması#

Mekanistik Yorumlanabilirliği genel Açıklanabilir Yapay Zeka (XAI) ile karıştırmak yaygındır. XAI, bir modelin nereye baktığını vurgulayan ısı haritaları veya belirginlik haritaları gibi araçları kapsayan daha geniş bir terim olsa da, Mekanistik Yorumlanabilirlik modelin yanıtını nasıl ve neden hesapladığını yanıtlamayı amaçlar. Örneğin, XAI bir nesne algılama modelinin bir köpeği tanımlamak için tüylü bir dokuya odaklandığını gösterebilirken, Mekanistik Yorumlanabilirlik spesifik "tüy algılayan" nöronları bulmayı ve bunların algoritmik bağlantılarını nihai tahmine kadar izlemeyi hedefler.

Link to this sectionGerçek Dünya Uygulamaları#

Sinir ağlarının hassas iç mantığını anlamak, yüksek riskli yapay zeka sistemlerini devreye almak için kritiktir. İşte iki somut uygulama:

• Yapay Zeka Güvenliği ve Hizalanması İçin Denetim: Anthropic ve OpenAI gibi kuruluşlar, büyük dil modellerini (LLM'ler) gizli önyargılar, aldatıcı davranışlar veya insan değerleriyle olası hizasızlıklar açısından incelemek için Mekanistik Yorumlanabilirliği kullanır. Araştırmacılar, seyrek otomatik kodlayıcılar gibi teknikler kullanarak insan tarafından okunabilir özellikleri çıkararak, sağlam bir yapay zeka güvenliği sağlamak için kötü amaçlı yolları devreye almadan önce cerrahi bir hassasiyetle düzenleyebilir veya devre dışı bırakabilirler.
• Tıbbi Tanılamada Hata Ayıklama: Sağlık hizmetleri gibi kritik alanlarda Mekanistik Yorumlanabilirlik, araştırmacıların bilgisayarlı görü algoritmalarının hastalıkları tahmin ederken (görüntüdeki hastane filigranı veya cetvel gibi) yapay nesneler yerine gerçek biyolojik belirteçlere dayandığını doğrulamalarına yardımcı olur. Bu ayrıntılı doğrulama, tıbbi yapay zekada uyumluluk ve güven için esastır.

Link to this sectionYorumlanabilirlik İçin Özellik Çıkarma#

Bilgisayarlı görü mimarileriyle çalışırken, Mekanistik Yorumlanabilirlikte ilk yaygın adım ara aktivasyonları çıkarmaktır. PyTorch ileri kancaları gibi araçları kullanarak, geliştiriciler ileri geçiş sırasında bir ağın içine bakabilirler.

Aşağıdaki kod parçacığı, çıkarım sırasında oluşturulan dahili özellik haritalarının boyutlarını incelemek için bir Ultralytics YOLO26 modelinin ilk evrişimli katmanına nasıl kanca ekleneceğini göstermektedir.

from ultralytics import YOLO

# Load the Ultralytics YOLO26 nano model
model = YOLO("yolo26n.pt")


# Define a hook function to capture and inspect intermediate layer activations
def hook_fn(module, input, output):
    print(f"Analyzed Layer: {module.__class__.__name__} | Activation Shape: {output.shape}")


# Attach the hook to the first layer of the model architecture
handle = model.model.model[0].register_forward_hook(hook_fn)

# Run a quick inference to trigger the hook and print the mechanistic features
results = model("https://ultralytics.com/images/bus.jpg")
handle.remove()

Bu aktivasyonları analiz ederek, makine öğrenimi mühendisleri özellik görselleştirme gerçekleştirebilir ve ağın davranışını haritalamaya başlayabilirler. Bu yorumlanabilir sistemleri eğitmek için gereken büyük ölçekli veri kümelerini yönetmek amacıyla, Ultralytics Platform gibi araçlar; model eğitimi, günlük kaydı ve sürekli izlemeyi basitleştiren sağlam uçtan uca boru hatları sunar. Yapay zekada şeffaflık için baskı arttıkça, Mekanistik Yorumlanabilirlik güvenilir ve sağlam modeller oluşturmak için temel bir disiplin olmaya devam edecektir.