Causal Representation Learning

Nedensel temsil öğrenimi (CRL), pikseller gibi yüksek boyutlu gözlemlerden, veriyi oluşturan gerçek nedenlere karşılık gelen küçük bir gizil değişken kümesini ve bunların arasındaki nedensel ilişkileri öğrenme problemidir. Böyle bir temsile sahip model, ışığı hareket ettirmek veya bir nesneyi itmek gibi bir etken değiştiğinde ne olacağını tahmin edebilir ve eğitim verilerindeki korelasyonlar, veri kayması biçiminde değiştiğinde de çalışmaya devam eder. Bernhard Schölkopf, Francesco Locatello, Yoshua Bengio ve çalışma arkadaşları, derin öğrenmenin temsil öğrenimini, nedensel değişkenlerin zaten verili olduğunu varsayan nedensel çıkarımın yapısal nedensel modelleriyle birleştirerek araştırma programını 2021'de Toward Causal Representation Learning makalesinde ortaya koydu.

Olağan Temsiller Neden Yetersiz Kalıyor#

Görüntü sınıflandırma için eğitilen bir ağ, her görüntüyü eğitim dağılımında etiketi olabildiğince iyi tahmin eden özelliklere sahip bir gizil uzaya eşler; bu özelliklerin nesneyi çevresiyle harmanlamasını engelleyen hiçbir şey yoktur. Sara Beery, Grant Van Horn ve Pietro Perona, 2018'de çimenli meralarda inekleri tanıyan sınıflandırıcıların sahilde duran bir inekte başarısız olabildiğini gösterdi; çünkü arka plan, "inek" kavramının bir parçası hâline gelmişti. Kestirme öğrenme adı verilen bu başarısızlık veri kümesi yanlılığından kaynaklanır ve aynı dağılımdan daha fazla veri kullanmak bunu ortadan kaldırmaz.

CRL, dünyanın bağımsız nedensel mekanizmalardan oluştuğu fikrine dayanır: yeni bir kamera, yeni bir aydınlatma veya robotun bir eylemi gibi gerçek dünyadaki bir değişiklik yalnızca birkaç mekanizmayı etkiler, geri kalanları değiştirmez. Değişkenleri bu mekanizmalara karşılık gelen bir temsilde, böyle bir değişiklik yalnızca birkaç değişkene dokunur. 2021'deki nedensel varyasyonel otomatik kodlayıcı CausalVAE'yi değerlendirmek için kullanılan sentetik Pendulum veri kümesi hedef yapıyı gösterir: sarkacın açısı ve ışığın açısı birlikte gölgenin konumunu ve uzunluğunu belirler; dördü de tek bir görüntüye işlenir.

Tanımlanabilirlik: Nedensel Değişkenler Ne Zaman Geri Kazanılabilir?#

Birçok farklı gizil değişken kümesi aynı görüntüleri açıklayabilir; bu nedenle CRL öncelikle gerçek değişkenlerin hangi koşullarda tanımlanabilir olduğunu sorar. Locatello ve çalışma arkadaşları, 2019'da hem model hem de veri hakkında varsayımlar olmadan denetimsiz öğrenmeyle ayrıştırılmış etkenleri öğrenmenin olanaksız olduğunu kanıtladı; yedi veri kümesinde eğitilmiş 12.000'den fazla modeli inceleyen bir çalışma da denetimsiz yöntemlerin gerçek etkenleri güvenilir biçimde bulamadığını doğruladı. Doğrusal temel durum olan bağımsız bileşen analizi (ICA), böyle bir varsayımın ne sağladığını gösterir. Bağımsız etkenler doğrusal biçimde karıştırılmışsa ICA, en fazla bir etken Gauss dağılımına sahip olduğu sürece bunları geri kazanabilir; çünkü bağımsız Gauss değişkenlerinin herhangi bir döndürülmüş hâli yine bağımsız Gauss değişkenlerinden oluşur:

import numpy as np
from sklearn.decomposition import FastICA

rng = np.random.default_rng(0)
mixing = np.array([[2.0, 1.0], [1.0, 1.0]])  # unknown map from two latent factors to two sensor readings

for name, latents in [
    ("Non-Gaussian factors", np.column_stack([rng.uniform(-1, 1, 5000), rng.laplace(size=5000)])),
    ("Gaussian factors", rng.normal(size=(5000, 2))),
]:
    observations = latents @ mixing.T
    recovered = FastICA(n_components=2, random_state=0).fit_transform(observations)
    # Correlation of each true factor with its best-matching recovered component (1.0 = recovered exactly)
    match = np.abs(np.corrcoef(latents.T, recovered.T)[:2, 2:]).max(axis=1)
    print(f"{name}: {match.round(2)}")

FastICA, Gauss dağılımına sahip olmayan her iki etkeni de 1.0 korelasyonla geri kazanır. Gauss etkenleri içinse bileşenleri her bir gerçek etkenle yalnızca 0.85 korelasyona sahip olan keyfî bir döndürme döndürür.

Nedensel etkenler ikinci bir güçlük yaratır; nedenler ve sonuçları istatistiksel olarak bağımlı olduğundan CRL yöntemleri bağımsızlık varsayımının yerine verinin nasıl üretildiğine ilişkin ek bilgileri kullanır. Bir seferde tek bir nesneyi hareket ettiren robot veya çeşitli hastanelerden alınan tıbbi görüntüler gibi müdahaleler altında ya da farklı ortamlarda kaydedilen veriler, her değişikliğin hangi değişkenleri etkilediğini ortaya çıkarır. Değişkenler zaman içinde yumuşak biçimde evrildiğinde ve eylemler bazılarına müdahale ettiğinde, video 2022'de Phillip Lippe ve çalışma arkadaşlarının geliştirdiği CITRIS yönteminde olduğu gibi yardımcı olur. Eşleştirilmiş görünümler de fayda sağlar: Julius von Kügelgen ve çalışma arkadaşları, NeurIPS 2021'de karşıtsal öğrenmenin artırılmış görüntü çiftleri üzerinde, artırmaların değiştirmediği içeriği, tersinir bir dönüşüme kadar ve değiştirdiği tarzdan ayrılmış biçimde geri kazandığını kanıtladı; bu, içerik ile tarz nedensel olarak bağımlı olsa bile geçerlidir. Denetimli eğitim de aynı içerik-tarz ayrımını kullanır. Varsayılan olarak, Ultralytics YOLO26 sınıflandırma modelini eğitmek, görüntü alanının %50 ila %100'ünü koruyan rastgele kırpmalar, yatay çevirmeler, RandAugment ve 0,4 olasılıkla rastgele silme uygular; bu veri artırma düzeninde sınıf etiketi, yani içerik sabit kalırken tarz değişir.

CRL ve İlişkili Terimler#

• Nedensel keşif: Bir tablodaki sıcaklık ve basınç sütunları gibi, önceden ölçülmüş değişkenler arasındaki nedensel grafiği öğrenir. CRL, piksellerden başlayarak hem değişkenleri hem de grafiği öğrenmelidir.
• Ayrıştırılmış temsil öğrenimi: Her biri bağımsız bir etkeni yakalayan gizil boyutları hedefler. CRL, etkenlerin birbirine neden olmasına izin verir ve bu bağlantıları modeller.
• Kendinden denetimli öğrenme: Birçok CRL tanımlanabilirlik sonucunun dayandığı artırılmış görünümler ve zamansal sıra gibi eğitim sinyallerini sağlar.
• Açıklanabilir yapay zekâ (XAI): Modelin iç değişkenlerinin gerçek dünya nedenlerine karşılık gelmesini gerektirmeden, eğitilmiş bir modelin tahminini hangi girdilerin etkilediğini açıklar.