Causal Representation Learning

因果表現学習（CRL）とは、ピクセルなどの高次元観測から、データを生成した実際の原因に対応する少数の潜在変数と、それらの間の因果関係を学習する課題です。このような表現を持つモデルは、照明を動かしたり物体を押したりするなど、ある要因を変えたときに何が起こるかを予測でき、学習データ内の相関が変化するデータドリフトが発生しても機能し続けます。Bernhard Schölkopf、Francesco Locatello、Yoshua Bengioらは2021年の因果表現学習に向けてで研究プログラムを提示し、深層学習の表現学習と、因果変数がすでに与えられていることを前提とする因果推論の構造的因果モデルを組み合わせました。

通常の表現では不十分な理由#

画像分類用に学習したネットワークは、各画像を潜在空間へ写像し、学習時の分布でラベルをできるだけ正確に予測する特徴を生成しますが、その特徴が物体と周囲の環境を混在させない保証はありません。2018年、Sara Beery、Grant Van Horn、Pietro Peronaは、草地にいる牛を認識する分類器が、浜辺に立つ牛では失敗することを示しました。背景が「牛」の意味の一部になっていたためです。この失敗はショートカット学習と呼ばれ、データセットバイアスに起因します。同じ分布からさらにデータを増やしても、この問題は解消されません。

CRLの基盤となる考え方は、世界が独立した因果メカニズムで構成されているというものです。新しいカメラ、新しい照明、ロボットの動作など、現実世界の変化は一部のメカニズムだけを変え、他は変えずに残します。表現の変数がそうしたメカニズムに対応していれば、このような変化が影響する変数もごく少数です。2021年にCausalVAEを評価するために使われた合成Pendulumデータセットは、目標とする構造を示しています。振り子の角度と光源の角度が影の位置と長さを共同で決定し、これら4つの要素すべてが1枚の画像に描画されます。CausalVAEは変分オートエンコーダです。

識別可能性：因果変数を復元できる条件#

同じ画像を説明できる潜在変数の組み合わせは多数あるため、CRLではまず、真の変数を識別できる条件を問います。2019年、Locatelloらは、モデルとデータの両方に関する仮定がなければ、教師なし学習で分離された要因を学習することは不可能だと証明しました。また、7つのデータセットで学習した12,000を超えるモデルを調べた研究では、教師なし手法では真の要因を確実に見つけられないことが確認されました。線形の基本ケースである独立成分分析（ICA）は、このような仮定がもたらす効果を示します。独立した要因が線形に混合されている場合、ガウス分布に従う要因が最大1つであればICAで復元できます。これは、独立したガウス変数を任意に回転しても、再び独立したガウス変数の組になるためです。

import numpy as np
from sklearn.decomposition import FastICA

rng = np.random.default_rng(0)
mixing = np.array([[2.0, 1.0], [1.0, 1.0]])  # unknown map from two latent factors to two sensor readings

for name, latents in [
    ("Non-Gaussian factors", np.column_stack([rng.uniform(-1, 1, 5000), rng.laplace(size=5000)])),
    ("Gaussian factors", rng.normal(size=(5000, 2))),
]:
    observations = latents @ mixing.T
    recovered = FastICA(n_components=2, random_state=0).fit_transform(observations)
    # Correlation of each true factor with its best-matching recovered component (1.0 = recovered exactly)
    match = np.abs(np.corrcoef(latents.T, recovered.T)[:2, 2:]).max(axis=1)
    print(f"{name}: {match.round(2)}")

FastICAは、2つの非ガウス要因を相関1.0で復元します。ガウス要因の場合、任意の回転を返すため、各成分と真の要因との相関はわずか0.85になります。

因果要因には別の難しさもあります。原因とその結果は統計的に依存するため、CRL手法では独立性の仮定を、データの生成方法に関する追加情報で置き換えます。介入下や複数の環境で記録したデータ、たとえばロボットが一度に1つの物体を動かす様子や、複数の病院の医用画像を使うと、それぞれの変化がどの変数に影響するかが分かります。変数が滑らかに変化し、動作が一部の変数に介入する場合は、Phillip Lippeらが2022年に提案したCITRIS手法のように、動画も役立ちます。ペアになったビューも有効です。Julius von KügelgenらはNeurIPS 2021で、拡張画像ペアに対する対照学習により、拡張で変化しないコンテンツを可逆変換まで復元し、変化するスタイルから分離できることを証明しました。これはコンテンツとスタイルが因果的に依存する場合にも成り立ちます。教師あり学習でも同じコンテンツとスタイルの分離を利用します。デフォルトでは、Ultralytics YOLO26の分類モデルの学習時に、画像領域の50%から100%を残すランダムクロップ、水平反転、RandAugment、確率0.4のランダム消去が適用されます。このデータ拡張の手順では、クラスラベルであるコンテンツを固定したまま、スタイルを変化させます。

CRLと関連用語の比較#

• 因果発見： 表の温度や圧力の列のように、すでに測定されている変数間の因果グラフを学習します。CRLでは、ピクセルから始めて、変数とグラフの両方を学習する必要があります。
• 分離表現学習： それぞれが独立した要因を1つずつ捉える潜在次元を目指します。CRLでは要因同士が互いに作用することを認め、その関係をモデル化します。
• 自己教師あり学習： 多くのCRLの識別可能性に関する研究結果が前提とする、拡張ビューや時間的順序などの学習信号を与えます。
• 説明可能なAI（XAI）： 学習済みモデルの予測にどの入力が影響したかを説明しますが、モデル内部の変数が現実世界の原因に対応している必要はありません。