Causal Representation Learning

因果表征学习（CRL）旨在从像素这类高维观测中学习一小组潜变量，这些变量对应生成数据的真实原因，并学习变量之间的因果关系。具有此类表征的模型能够预测改变某个因素后会发生什么，例如移动光源或推动物体；即使训练数据中的相关性发生变化，模型仍能正常工作，这是一种数据漂移。Bernhard Schölkopf、Francesco Locatello、Yoshua Bengio 及其同事在 2021 年的论文 Toward Causal Representation Learning 中提出了这一研究方向，将深度学习中的表征学习与因果推断中的结构因果模型结合起来；后者假设因果变量已经给定。

普通表征为何不够#

针对图像分类训练的网络会将每张图像映射到一个潜在空间，其中的特征在训练分布上尽可能准确地预测标签，但没有什么能阻止这些特征将物体与周围环境混在一起。2018 年，Sara Beery、Grant Van Horn 和 Pietro Perona 展示了一个现象：能够识别草地牧场上奶牛的分类器，可能无法识别站在海滩上的奶牛，因为背景已经成了“奶牛”概念的一部分。这种称为捷径学习的失败源于数据集偏差，而来自相同分布的更多数据并不能消除这种偏差。

CRL 基于这样一种观点：世界由相互独立的因果机制构成。现实世界中的变化，例如换一台相机、改变光照或机器人执行动作，只会改变少数机制，其他机制则保持不变。在变量与这些机制相对应的表征中，此类变化只会影响少数变量。用于评估 2021 年因果 VAE（CausalVAE）的合成 Pendulum 数据集展示了目标结构：摆锤的角度和光源的角度共同决定阴影的位置和长度，而这四个因素都被渲染到同一张图像中。CausalVAE 是一种因果变分自编码器。

可识别性：何时能够恢复因果变量#

许多不同的潜变量集合都能解释相同的图像，因此 CRL 首先要探究真实变量何时可识别。2019 年，Locatello 及其同事证明，如果不对模型和数据作出假设，就无法通过无监督学习学到解耦因素；一项针对七个数据集上 12,000 多个训练模型的研究也证实，无监督方法无法可靠地找出真实因素。独立成分分析（ICA）这一线性基础情形，说明了这类假设能带来什么。如果独立因素经过线性混合，只要其中至多一个因素服从高斯分布，ICA 就能恢复这些因素，因为独立高斯变量的任意旋转仍然是一组独立高斯变量：

import numpy as np
from sklearn.decomposition import FastICA

rng = np.random.default_rng(0)
mixing = np.array([[2.0, 1.0], [1.0, 1.0]])  # unknown map from two latent factors to two sensor readings

for name, latents in [
    ("Non-Gaussian factors", np.column_stack([rng.uniform(-1, 1, 5000), rng.laplace(size=5000)])),
    ("Gaussian factors", rng.normal(size=(5000, 2))),
]:
    observations = latents @ mixing.T
    recovered = FastICA(n_components=2, random_state=0).fit_transform(observations)
    # Correlation of each true factor with its best-matching recovered component (1.0 = recovered exactly)
    match = np.abs(np.corrcoef(latents.T, recovered.T)[:2, 2:]).max(axis=1)
    print(f"{name}: {match.round(2)}")

FastICA 能恢复两个非高斯因素，相关性为 1.0。对于高斯因素，FastICA 会返回一个任意旋转，其分量与每个真实因素的相关性仅为 0.85。

因果因素带来了第二个难点，因为原因与结果在统计上相互依赖，所以 CRL 方法会用关于数据生成方式的额外信息来取代独立性假设。在干预条件下或多个环境中记录的数据，例如机器人每次移动一个物体，或来自多家医院的医学图像，可以揭示每种变化会影响哪些变量。当变量平滑演变、动作会干预其中一部分变量时，视频也能提供帮助；Phillip Lippe 及其同事在 2022 年提出的 CITRIS 方法便是如此。成对视图也有帮助：Julius von Kügelgen 及其同事在 NeurIPS 2021 证明，即使内容与风格存在因果依赖，对增强图像对进行对比学习也能恢复增强操作未改变的内容（结果相差一个可逆变换），并将其与增强操作改变的风格分离。监督训练也采用相同的内容与风格拆分。默认情况下，训练 Ultralytics YOLO26分类模型时，会随机裁剪图像并保留 50% 到 100% 的图像区域、进行水平翻转、使用 RandAugment，并以 0.4 的概率随机擦除。这套数据增强方案会改变风格，同时保持类别标签（即内容）不变。

CRL 与相关术语的区别#

• 因果发现：学习已测量变量之间的因果图，例如表格中的温度列和压力列。CRL 必须从像素出发，既学习变量，也学习变量之间的图。
• 解耦表征学习：旨在寻找各自捕捉一个独立因素的潜在维度。CRL 允许因素之间存在因果关系，并对这些联系建模。
• 自监督学习：提供许多 CRL 可识别性研究所依赖的训练信号，例如增强视图和时间顺序。
• 可解释人工智能（XAI）：解释哪些输入促成了训练后模型的预测，但不要求模型的内部变量对应现实世界中的原因。