Causal Representation Learning

A aprendizagem de representações causais (CRL) é o problema de aprender, a partir de observações de alta dimensão, como píxeis, um pequeno conjunto de variáveis latentes que correspondam às causas reais que geraram os dados, bem como as relações causais entre elas. Um modelo com essa representação pode prever o que acontece quando um fator é alterado, como mover uma luz ou empurrar um objeto, e continua a funcionar quando as correlações nos dados de treino mudam, uma forma de deriva de dados. Em 2021, Bernhard Schölkopf, Francesco Locatello, Yoshua Bengio e colegas apresentaram o programa de investigação em Toward Causal Representation Learning, combinando a aprendizagem de representações da aprendizagem profunda com os modelos causais estruturais da inferência causal, que partem do princípio de que as variáveis causais já são conhecidas.

Porque é que as representações convencionais ficam aquém#

Uma rede treinada para a classificação de imagens mapeia cada imagem para um espaço latente cujas características preveem o rótulo tão bem quanto possível na distribuição de treino, mas nada impede que essas características misturem o objeto com o que o rodeia. Em 2018, Sara Beery, Grant Van Horn e Pietro Perona mostraram que os classificadores que reconhecem vacas em pastagens podem falhar quando uma vaca está numa praia, porque o fundo passou a fazer parte do significado de «vaca». Esta falha, chamada aprendizagem por atalhos, decorre do viés do conjunto de dados, e mais dados da mesma distribuição não a eliminam.

A CRL assenta na ideia de que o mundo é constituído por mecanismos causais independentes: uma mudança no mundo real, como uma nova câmara, uma nova iluminação ou a ação de um robô, altera apenas alguns mecanismos e deixa os restantes inalterados. Numa representação cujas variáveis correspondem a esses mecanismos, essa mudança afeta apenas algumas variáveis. O conjunto de dados sintético Pendulum, usado para avaliar o CausalVAE, um autoencoder variacional causal de 2021, mostra a estrutura pretendida: o ângulo do pêndulo e o ângulo da luz causam em conjunto a posição e o comprimento da sombra, e os quatro elementos são representados numa única imagem.

Identificabilidade: quando é possível recuperar as variáveis causais#

Muitos conjuntos diferentes de variáveis latentes podem explicar as mesmas imagens, por isso a CRL começa por perguntar em que condições as variáveis verdadeiras são identificáveis. Em 2019, Locatello e colegas provaram que é impossível aprender fatores disentangled com aprendizagem não supervisionada sem pressupostos sobre o modelo e os dados, e um estudo de mais de 12 000 modelos treinados em sete conjuntos de dados confirmou que os métodos não supervisionados não conseguiam encontrar os fatores verdadeiros de forma fiável. A análise de componentes independentes (ICA), o caso-base linear, mostra o que esse tipo de pressuposto permite. Se fatores independentes forem misturados linearmente, a ICA consegue recuperá-los desde que, no máximo, um deles seja gaussiano, porque qualquer rotação de variáveis gaussianas independentes também é um conjunto de gaussianas independentes:

import numpy as np
from sklearn.decomposition import FastICA

rng = np.random.default_rng(0)
mixing = np.array([[2.0, 1.0], [1.0, 1.0]])  # unknown map from two latent factors to two sensor readings

for name, latents in [
    ("Non-Gaussian factors", np.column_stack([rng.uniform(-1, 1, 5000), rng.laplace(size=5000)])),
    ("Gaussian factors", rng.normal(size=(5000, 2))),
]:
    observations = latents @ mixing.T
    recovered = FastICA(n_components=2, random_state=0).fit_transform(observations)
    # Correlation of each true factor with its best-matching recovered component (1.0 = recovered exactly)
    match = np.abs(np.corrcoef(latents.T, recovered.T)[:2, 2:]).max(axis=1)
    print(f"{name}: {match.round(2)}")

O FastICA recupera ambos os fatores não gaussianos com uma correlação de 1.0. Para fatores gaussianos, devolve uma rotação arbitrária cujas componentes correspondem a cada fator verdadeiro com uma correlação de apenas 0.85.

Os fatores causais acrescentam uma segunda dificuldade, pois as causas e os seus efeitos são estatisticamente dependentes. Por isso, os métodos de CRL substituem o pressuposto de independência por informações adicionais sobre a forma como os dados foram gerados. Os dados recolhidos sob intervenções ou em vários ambientes, como um robô que move um objeto de cada vez ou imagens médicas de vários hospitais, revelam que variáveis são afetadas por cada mudança. O vídeo é útil quando as variáveis evoluem suavemente e as ações intervêm em algumas delas, como no método CITRIS, desenvolvido por Phillip Lippe e colegas em 2022. Os pares de vistas também ajudam: Julius von Kügelgen e colegas provaram na NeurIPS 2021 que a aprendizagem contrastiva em pares de imagens aumentadas recupera o conteúdo que as ampliações deixam inalterado, até uma transformação invertível e separado do estilo que alteram, mesmo quando o conteúdo e o estilo são causalmente dependentes. O treino supervisionado utiliza a mesma separação entre conteúdo e estilo. Por predefinição, o treino de um modelo de classificação Ultralytics YOLO26 aplica recortes aleatórios que mantêm entre 50% e 100% da área da imagem, inversões horizontais, RandAugment e apagamento aleatório com probabilidade de 0,4: uma receita de aumento de dados que altera o estilo, mantendo fixo o rótulo da classe, ou seja, o conteúdo.

CRL e termos relacionados#

• Descoberta causal: Aprende o grafo causal entre variáveis já medidas, como as colunas de temperatura e pressão de uma tabela. A CRL tem de aprender tanto as variáveis como o grafo, partindo dos píxeis.
• Aprendizagem de representações disentangled: Procura dimensões latentes que capturem, cada uma, um fator independente. A CRL permite que os fatores se causem mutuamente e modela essas ligações.
• Aprendizagem autossupervisionada: Fornece os sinais de treino, como vistas aumentadas e ordem temporal, dos quais dependem muitos resultados de identificabilidade da CRL.
• IA explicável (XAI): Explica que entradas influenciaram a previsão de um modelo treinado, sem exigir que as variáveis internas do modelo correspondam a causas do mundo real.