Mechanistic Interpretability

Mekanistik yorumlanabilirlik, eğitilmiş sinir ağlarını insanın anlayabileceği mekanizmalara tersine mühendislikle çözümleyen araştırma alanıdır: modelin etkinleşmelerinde temsil ettiği özellikler ve bu özellikleri çıktıya dönüştüren ağırlık ve bileşen zincirlerinden oluşan devreler. Çoğu değerlendirme, modeli tahminlerine göre yargılanan bir kara kutu olarak ele alırken mekanistik yorumlanabilirlik, ağırlıkları derlenmiş ve kaynak koda dönüştürülmesi gereken bir program gibi ele alır. Küçük görü modellerine yönelik çalışmalardan doğan bu alan, büyük dil modelleri (LLMs) üzerine yapay zekâ güvenliği araştırmalarının temel bir parçası hâline geldi; MIT Technology Review de bu alanı 2026'nın Çığır Açan 10 Teknolojisi'nden biri seçti.

Özellikler, Devreler ve Süperpozisyon#

Alan, görüntü sınıflandırıcıları için Distill'de yayımlanan Devrelere Yakından Bakış: Devrelere Giriş makalesinde açıklanan birkaç çalışma varsayımına dayanır:

• Özellikler: Bir katmanın etkinleşme uzayındaki, girdinin anlamlı niteliklerine karşılık gelen yönlerdir. Evrişimli sinir ağının (CNN) ilk katmanlarında eğri ve kenar algılayıcıları bulunurken sonraki katmanlarında tekerlek ya da köpek burnu gibi nesne parçalarına ait özellikler bulunur.
• Devreler: Bir algoritmayı uygulayan, ağırlıklarla birbirine bağlanmış özellik gruplarıdır. Transformer modellerinde indüksiyon dikkat başlıkları, geçerli belirtecin daha önceki bir örneğini bulup ardından geleni kopyalayan dikkat başlığı çiftleridir; bu mekanizma bağlam içi öğrenmenin temelindedir. GPT-2 small üzerinde yapılan bir çalışmada, "Mary and John went to the store, John gave a drink to" gibi cümleleri "Mary" ile tamamlayan devrenin işlevsel açıdan yedi gruba ayrılan 26 dikkat başlığından oluştuğu belirlendi.
• Süperpozisyon: Modeller, özellikleri üst üste bindirerek sahip oldukları nöron sayısından daha fazla özelliği temsil eder; bu nedenle tek bir nöron çoğu zaman birbiriyle ilgisiz birkaç kavrama yanıt verir. Bu çokanlamlılık, tek tek nöronların neden zayıf analiz birimleri olduğunu ve alanın neden sözlük öğrenimine yöneldiğini açıklar.

Temel Yöntemler#

Araştırmacılar, aday özellikleri bulan gözlemi, bu özelliklerin önemli olup olmadığını sınayan müdahaleyle birleştirir:

• Doğrusal yoklama: Bir kavramın belirli bir katmanda doğrusal olarak çözümlenip çözümlenemediğini kontrol etmek için etkinleşmeler üzerinde basit bir sınıflandırıcı eğitilir. Yoklama, bilginin mevcut olduğunu gösterir; modelin bu bilgiyi kullandığını göstermek içinse müdahale gerekir.
• Ablasyon ve etkinleşme yamalama: Bir etkinleşmenin değerini sıfırlamak veya başka bir girdiden alınan değerle değiştirmek, ardından çıktının ne ölçüde değiştiğini ölçmektir. Bu nedensel testler, bir davranışı hesaplayan bileşenleri yalnızca davranışla ilişkili olanlardan ayırır.
• Seyrek otomatik kodlayıcılar (SAEs): Bir katmanın etkinleşmelerini, seyrek etkinleşen çok daha geniş bir özellik kümesine ayrıştırarak süperpozisyonu ortadan kaldıran ağlardır. Anthropic'in Tekanlamlılığı Ölçeklendirme çalışması, Claude 3 Sonnet'ten Altın Kapı Köprüsü'ne karşılık gelen bir özellik de dâhil olmak üzere milyonlarca özellik çıkardı. Bu özellik yüksek bir değere sabitlendiğinde model kendisini köprü olarak tanımladı.
• Atıf grafikleri: Anthropic'in 2025'te yaptığı Claude 3.5 Haiku devre izleme çalışması, modelin MLP katmanlarını yorumlanabilir bir yaklaşımla değiştirdi ve özellikler arasındaki yolları izledi. Çalışma, modelin "Dallas'ı içeren eyaletin başkenti" ifadesinden bir ara adım olarak "Texas"ı kullanıp "Austin"e ulaştığını ve şiirin son dizesini yazmadan önce onunla kafiyeli bir sözcük seçtiğini gösterdi.
• Yönlendirme: Davranışı değiştirmek için çıkarım sırasında bir özellik yönünü eklemek ya da çıkarmaktır; yönlendirme vektörlerinin ve temsil mühendisliğinin temelini oluşturur.

Tipik bir incelemede bu yöntemler dönüşümlü olarak kullanılır:

Görüntü Modelinde Kanalların Ablasyonu#

Ablasyon, uygulanabilecek en basit nedensel testtir. Aşağıdaki kod parçacığı, torchvision'dan önceden eğitilmiş bir ResNet-18 yükler, ara katmanın özellik haritalarındaki 256 kanalın her birini sırayla sıfırlamak için bir PyTorch ileri geçiş kancası kullanır ve modelin en yüksek puan alan sınıfına ait logit değerinin ne kadar düştüğünü kaydeder:

import urllib.request

import torch
from PIL import Image
from torchvision.models import ResNet18_Weights, resnet18

weights = ResNet18_Weights.DEFAULT
model = resnet18(weights=weights).eval()
image = Image.open(urllib.request.urlopen("https://ultralytics.com/images/bus.jpg"))
x = weights.transforms()(image).unsqueeze(0)

with torch.no_grad():
    logits = model(x)
    top = logits.argmax().item()
    drops = torch.zeros(256)
    for c in range(256):  # zero one layer3 channel at a time and record how far the top-class logit falls
        handle = model.layer3.register_forward_hook(lambda m, i, out: out.index_fill(1, torch.tensor([c]), 0))
        drops[c] = logits[0, top] - model(x)[0, top]
        handle.remove()

values, channels = drops.topk(3)
print(f"{weights.meta['categories'][top]}: logit {logits[0, top]:.2f}, median drop {drops.median():.3f}")
print(f"largest drops: channels {channels.tolist()} -> {values.round(decimals=2).tolist()}")

Model, 13,42 logit değeriyle "minibüs" tahmini yapar. Tipik bir kanalın kaldırılması logit değerini neredeyse hiç değiştirmez (medyan düşüş -0,002); ancak yalnızca 62. kanalın kaldırılması değeri 1,80, 70. ve 155. kanalların kaldırılmasıysa yaklaşık 1,15 düşürür. Yani kanalların birkaçı, kanıtların büyük kısmını taşır. Bu kanallar sonraki adımlar için başlangıç noktası olur: Her kanalın neyi algıladığını görselleştirmek ve hangi önceki özelliklerin kanalı beslediğini izlemek.

Mekanistik Yorumlanabilirlik ve Açıklanabilir Yapay Zekâ#

Açıklanabilir yapay zekâ (XAI), model kararlarını anlaşılır kılmaya yönelik daha geniş bir alandır ve bu alanın büyük kısmını atıf yöntemleri oluşturur: belirginlik haritaları ve sınıf etkinleşme haritaları, tahmini etkileyen girdi piksellerini vurgular. Ultralytics YOLO26 tahmin modunda visualize=True ayarını kullanmak, her tahminin yanına böyle bir ısı haritası kaydeder ve hangi piksellerin tahmin edilen sınıf puanlarını yükselttiğini gösterir. Atıf, modelin nereye baktığına yanıt verir; mekanistik yorumlanabilirlik ise hangi iç özelliklerin ve devrelerin bu pikselleri puana dönüştürdüğünü araştırır. Kavram darboğazı modelleri ise tahminleri insanın adlandırdığı kavramlardan geçmeye zorlayarak yorumlanabilirliği mimariye dâhil eden üçüncü bir yaklaşım sunar.

Uygulamalar ve Sınırlar#

Mekanistik araçlar, aldatma veya yaltaklanma ile bağlantılı aktivasyon yönlerini izleyerek LLM'leri yayımlanmadan önce istenmeyen davranışlar açısından denetlemek ve kestirme yollara dayanan görü modellerinde hata ayıklamak için kullanılır; örneğin, bir cilt lezyonu sınıflandırıcısı, dermatologların şüpheli lezyonların yanına yerleştirdiği cetvellerin maligniteye işaret ettiğini öğrenebilir. Bu tür bir kontrol, bir modelin yanlış bir nedenle test kümesinde yüksek puan alabileceği tıbbi görüntü analizi alanında önemlidir. TransformerLens gibi açık kaynaklı araçlar, Transformer modellerinde kanca kullanımını, önbelleğe almayı ve yama uygulamayı rutin hâle getirir.

Alanı sınırlayan temel etken kapsamdır. SAE'ler etkinleşmeleri kusursuz biçimde yeniden oluşturamadığından her hesaplamanın bir kısmı açıklanamaz durumda kalır. Atıf grafikleri için kullanılan ikame modeller de öncü bir modelin belirli bir istemdeki davranışının yalnızca bir kısmını yakalar. Her bir devrenin doğrulanması hâlâ ciddi insan emeği gerektirdiğinden büyük modellerin tümünü açıklamak mümkün değildir.