Causal Representation Learning

El aprendizaje de representaciones causales (CRL) consiste en aprender, a partir de observaciones de alta dimensionalidad como los píxeles, un pequeño conjunto de variables latentes que se corresponden con las causas reales que generaron los datos, junto con las relaciones causales entre ellas. Un modelo con una representación así puede predecir qué ocurre al cambiar un factor, como mover una luz o empujar un objeto, y sigue funcionando cuando cambian las correlaciones en sus datos de entrenamiento, una forma de deriva de datos. En 2021, Bernhard Schölkopf, Francesco Locatello, Yoshua Bengio y sus colegas establecieron el programa de investigación en Toward Causal Representation Learning, combinando el aprendizaje de representaciones del aprendizaje profundo con los modelos causales estructurales de la inferencia causal, que dan por hecho que las variables causales ya están definidas.

Por qué las representaciones convencionales se quedan cortas#

Una red entrenada para la clasificación de imágenes asigna cada imagen a un espacio latente cuyas características predicen la etiqueta lo mejor posible en la distribución de entrenamiento, pero nada impide que esas características mezclen el objeto con su entorno. En 2018, Sara Beery, Grant Van Horn y Pietro Perona demostraron que los clasificadores que reconocen vacas en pastos verdes pueden fallar ante una vaca en la playa, porque el fondo había pasado a formar parte de lo que significaba «vaca». Este fallo, llamado aprendizaje por atajos, se debe al sesgo del conjunto de datos, y disponer de más datos de la misma distribución no lo elimina.

El CRL parte de la idea de que el mundo está compuesto por mecanismos causales independientes: un cambio en el mundo real, como una cámara nueva, una iluminación distinta o una acción de un robot, altera solo unos pocos mecanismos y deja intactos los demás. En una representación cuyas variables se corresponden con esos mecanismos, un cambio así afecta solo a unas pocas variables. El conjunto de datos sintético Pendulum, utilizado para evaluar CausalVAE, un autocodificador variacional causal de 2021, muestra la estructura objetivo: el ángulo del péndulo y el ángulo de la luz determinan conjuntamente la posición y la longitud de la sombra, y los cuatro elementos se representan en una única imagen.

Identificabilidad: cuándo se pueden recuperar las variables causales#

Muchos conjuntos distintos de variables latentes pueden explicar las mismas imágenes, así que el CRL primero pregunta en qué condiciones se pueden identificar las variables verdaderas. En 2019, Locatello y sus colegas demostraron que es imposible aprender factores disentrelazados mediante aprendizaje no supervisado sin establecer supuestos sobre el modelo y los datos; además, un estudio de más de 12 000 modelos entrenados en siete conjuntos de datos confirmó que los métodos no supervisados no podían encontrar de forma fiable los factores verdaderos. El análisis de componentes independientes (ICA), el caso lineal básico, muestra qué se consigue con uno de estos supuestos. Si los factores independientes se mezclan linealmente, ICA puede recuperarlos siempre que como máximo uno de ellos tenga una distribución gaussiana, porque cualquier rotación de variables gaussianas independientes vuelve a producir un conjunto de gaussianas independientes:

import numpy as np
from sklearn.decomposition import FastICA

rng = np.random.default_rng(0)
mixing = np.array([[2.0, 1.0], [1.0, 1.0]])  # unknown map from two latent factors to two sensor readings

for name, latents in [
    ("Non-Gaussian factors", np.column_stack([rng.uniform(-1, 1, 5000), rng.laplace(size=5000)])),
    ("Gaussian factors", rng.normal(size=(5000, 2))),
]:
    observations = latents @ mixing.T
    recovered = FastICA(n_components=2, random_state=0).fit_transform(observations)
    # Correlation of each true factor with its best-matching recovered component (1.0 = recovered exactly)
    match = np.abs(np.corrcoef(latents.T, recovered.T)[:2, 2:]).max(axis=1)
    print(f"{name}: {match.round(2)}")

FastICA recupera ambos factores no gaussianos con una correlación de 1.0. Para los factores gaussianos, devuelve una rotación arbitraria cuyos componentes se corresponden con cada factor verdadero con una correlación de solo 0.85.

Los factores causales añaden una segunda dificultad, ya que las causas y sus efectos dependen estadísticamente unos de otros; por eso, los métodos de CRL sustituyen el supuesto de independencia por información adicional sobre cómo se generaron los datos. Los datos registrados bajo intervenciones o en varios entornos, como un robot que mueve un objeto cada vez o imágenes médicas de varios hospitales, revelan qué variables afecta cada cambio. El vídeo resulta útil cuando las variables evolucionan de forma gradual y las acciones intervienen sobre algunas de ellas, como en el método CITRIS de Phillip Lippe y sus colegas, de 2022. Los pares de vistas también ayudan: Julius von Kügelgen y sus colegas demostraron en NeurIPS 2021 que el aprendizaje contrastivo con pares de imágenes aumentadas recupera el contenido que las aumentaciones dejan intacto, hasta una transformación invertible y separado del estilo que modifican, incluso cuando el contenido y el estilo dependen causalmente entre sí. El entrenamiento supervisado utiliza la misma separación entre contenido y estilo. De forma predeterminada, el entrenamiento de un modelo de clasificación Ultralytics YOLO26 aplica recortes aleatorios que conservan entre el 50 % y el 100 % del área de la imagen, volteos horizontales, RandAugment y borrado aleatorio con una probabilidad de 0,4: una receta de aumento de datos que cambia el estilo mientras la etiqueta de clase, el contenido, permanece fija.

CRL y términos relacionados#

• Descubrimiento causal: Aprende el grafo causal entre variables que ya se han medido, como las columnas de temperatura y presión de una tabla. El CRL debe aprender tanto las variables como el grafo, partiendo de los píxeles.
• Aprendizaje de representaciones disentrelazadas: Busca dimensiones latentes que capturen cada una un factor independiente. El CRL permite que los factores se causen entre sí y modela esas relaciones.
• Aprendizaje autosupervisado: Proporciona las señales de entrenamiento, como vistas aumentadas y orden temporal, en las que se basan muchos resultados de identificabilidad del CRL.
• IA explicable (XAI): Explica qué entradas impulsaron la predicción de un modelo entrenado, sin exigir que las variables internas del modelo se correspondan con causas del mundo real.