Causal Representation Learning

L’apprendimento di rappresentazioni causali (CRL) consiste nell’apprendere, da osservazioni ad alta dimensionalità come i pixel, un piccolo insieme di variabili latenti corrispondenti alle cause reali che hanno generato i dati, insieme alle relazioni causali tra esse. Un modello dotato di una rappresentazione di questo tipo può prevedere cosa accade quando si modifica un fattore, per esempio spostando una luce o spingendo un oggetto, e continua a funzionare quando cambiano le correlazioni nei dati di addestramento, una forma di deriva dei dati. Nel 2021 Bernhard Schölkopf, Francesco Locatello, Yoshua Bengio e i loro colleghi hanno delineato il programma di ricerca in Verso l’apprendimento di rappresentazioni causali, combinando l’apprendimento delle rappresentazioni del deep learning con i modelli causali strutturali dell’inferenza causale, che presuppongono che le variabili causali siano già note.

Perché le rappresentazioni ordinarie non bastano#

Una rete addestrata per la classificazione di immagini mappa ogni immagine in uno spazio latente, le cui caratteristiche predicono l’etichetta nel modo più accurato possibile sulla distribuzione di addestramento, senza impedire che tali caratteristiche mescolino l’oggetto con ciò che lo circonda. Nel 2018, Sara Beery, Grant Van Horn e Pietro Perona hanno mostrato che i classificatori capaci di riconoscere le mucche nei pascoli erbosi possono fallire davanti a una mucca su una spiaggia, perché lo sfondo era diventato parte di ciò che significava «mucca». Questo problema, chiamato apprendimento basato su scorciatoie, deriva dalla distorsione del dataset e non si risolve aggiungendo dati provenienti dalla stessa distribuzione.

Il CRL si basa sull’idea che il mondo sia composto da meccanismi causali indipendenti: un cambiamento nel mondo reale, come una nuova fotocamera, una nuova illuminazione o l’azione di un robot, modifica solo pochi meccanismi e lascia invariati gli altri. In una rappresentazione le cui variabili corrispondono a questi meccanismi, un simile cambiamento interessa solo poche variabili. Il dataset sintetico Pendulum, usato per valutare CausalVAE, un autoencoder variazionale causale del 2021, mostra la struttura obiettivo: l’angolo del pendolo e quello della luce determinano insieme la posizione e la lunghezza dell’ombra, e tutti e quattro vengono rappresentati in un’unica immagine.

Identificabilità: quando è possibile recuperare le variabili causali#

Molti insiemi diversi di variabili latenti possono spiegare le stesse immagini, quindi il CRL si chiede innanzitutto in quali condizioni le variabili effettive siano identificabili. Nel 2019, Locatello e colleghi hanno dimostrato che apprendere fattori disaccoppiati con l’apprendimento non supervisionato è impossibile senza ipotesi sul modello e sui dati; uno studio su oltre 12.000 modelli addestrati su sette dataset ha confermato che i metodi non supervisionati non riuscivano a individuare in modo affidabile i fattori effettivi. L’analisi delle componenti indipendenti (ICA), il caso lineare di base, mostra il vantaggio offerto da un’ipotesi di questo tipo. Se fattori indipendenti vengono combinati linearmente, l’ICA può recuperarli purché al massimo uno sia gaussiano, perché qualsiasi rotazione di variabili gaussiane indipendenti è ancora un insieme di gaussiane indipendenti:

import numpy as np
from sklearn.decomposition import FastICA

rng = np.random.default_rng(0)
mixing = np.array([[2.0, 1.0], [1.0, 1.0]])  # unknown map from two latent factors to two sensor readings

for name, latents in [
    ("Non-Gaussian factors", np.column_stack([rng.uniform(-1, 1, 5000), rng.laplace(size=5000)])),
    ("Gaussian factors", rng.normal(size=(5000, 2))),
]:
    observations = latents @ mixing.T
    recovered = FastICA(n_components=2, random_state=0).fit_transform(observations)
    # Correlation of each true factor with its best-matching recovered component (1.0 = recovered exactly)
    match = np.abs(np.corrcoef(latents.T, recovered.T)[:2, 2:]).max(axis=1)
    print(f"{name}: {match.round(2)}")

FastICA recupera entrambi i fattori non gaussiani con una correlazione di 1.0. Per i fattori gaussiani, restituisce una rotazione arbitraria le cui componenti corrispondono a ciascun fattore effettivo con una correlazione di appena 0.85.

I fattori causali introducono una seconda difficoltà, perché le cause e i loro effetti sono statisticamente dipendenti; perciò i metodi CRL sostituiscono l’ipotesi di indipendenza con informazioni aggiuntive sul modo in cui i dati sono stati generati. I dati registrati durante interventi o in più ambienti, per esempio un robot che sposta un oggetto alla volta o immagini mediche provenienti da diversi ospedali, rivelano quali variabili vengono influenzate da ciascun cambiamento. I video sono utili quando le variabili evolvono in modo regolare e le azioni intervengono su alcune di esse, come nel metodo CITRIS di Phillip Lippe e colleghi del 2022. Anche le visualizzazioni appaiate sono utili: Julius von Kügelgen e colleghi hanno dimostrato a NeurIPS 2021 che l’apprendimento contrastivo su coppie di immagini aumentate recupera il contenuto che le trasformazioni lasciano invariato, separandolo dallo stile che modificano, a meno di una trasformazione invertibile, anche quando contenuto e stile sono causalmente dipendenti. L’addestramento supervisionato usa la stessa separazione tra contenuto e stile. Per impostazione predefinita, l’addestramento di un modello di classificazione Ultralytics YOLO26 applica ritagli casuali che mantengono dal 50% al 100% dell’area dell’immagine, ribaltamenti orizzontali, RandAugment e cancellazione casuale con probabilità 0,4: una procedura di aumento dei dati che modifica lo stile mentre l’etichetta di classe, cioè il contenuto, resta invariata.

CRL e termini correlati#

• Scoperta causale: apprende il grafo causale tra variabili già misurate, come le colonne di temperatura e pressione di una tabella. Il CRL deve apprendere sia le variabili sia il grafo, partendo dai pixel.
• Apprendimento di rappresentazioni disaccoppiate: cerca dimensioni latenti che catturino ciascuna un fattore indipendente. Il CRL ammette che i fattori si causino a vicenda e ne modella i collegamenti.
• Apprendimento auto-supervisionato: fornisce segnali di addestramento, come visualizzazioni aumentate e ordine temporale, su cui si basano molti risultati di identificabilità del CRL.
• IA spiegabile (XAI): spiega quali input hanno determinato la previsione di un modello addestrato, senza richiedere che le variabili interne del modello corrispondano a cause del mondo reale.