Causal Representation Learning

Học biểu diễn nhân quả (CRL) là bài toán học, từ các quan sát nhiều chiều như pixel, một tập nhỏ các biến ẩn tương ứng với những nguyên nhân thực sự tạo ra dữ liệu, cùng với các mối quan hệ nhân quả giữa chúng. Model có biểu diễn như vậy có thể dự đoán điều gì xảy ra khi một yếu tố thay đổi, chẳng hạn như di chuyển nguồn sáng hoặc đẩy một vật thể, và vẫn hoạt động khi các tương quan trong dữ liệu huấn luyện thay đổi, một dạng trôi dạt dữ liệu. Năm 2021, Bernhard Schölkopf, Francesco Locatello, Yoshua Bengio và các cộng sự đã đề ra chương trình nghiên cứu này trong Toward Causal Representation Learning, kết hợp học biểu diễn của học sâu với các mô hình nhân quả cấu trúc của suy luận nhân quả, vốn giả định rằng các biến nhân quả đã được xác định.

Vì sao các biểu diễn thông thường chưa đáp ứng được#

Một mạng được huấn luyện cho phân loại ảnh ánh xạ mỗi ảnh vào một không gian ẩn, trong đó các đặc trưng dự đoán nhãn tốt nhất có thể trên phân phối huấn luyện, và không có gì ngăn những đặc trưng đó trộn lẫn vật thể với môi trường xung quanh. Năm 2018, Sara Beery, Grant Van Horn và Pietro Perona cho thấy các bộ phân loại nhận diện bò trên đồng cỏ có thể thất bại khi bò đứng trên bãi biển, vì hậu cảnh đã trở thành một phần ý nghĩa của “bò”. Thất bại này, được gọi là học theo lối tắt, bắt nguồn từ thiên lệch tập dữ liệu, và việc bổ sung dữ liệu từ cùng phân phối không thể khắc phục.

CRL dựa trên ý tưởng rằng thế giới được cấu thành từ các cơ chế nhân quả độc lập: một thay đổi trong thế giới thực, chẳng hạn như camera mới, ánh sáng mới hoặc hành động của robot, chỉ làm thay đổi một vài cơ chế và giữ nguyên phần còn lại. Trong biểu diễn có các biến tương ứng với những cơ chế đó, thay đổi như vậy chỉ tác động đến một vài biến. Tập dữ liệu Pendulum tổng hợp dùng để đánh giá CausalVAE, một bộ mã hóa tự động biến phân có tính nhân quả từ năm 2021, thể hiện cấu trúc mục tiêu: góc của con lắc và góc của ánh sáng cùng gây ra vị trí và chiều dài của bóng, và cả bốn yếu tố được kết xuất thành một ảnh.

Tính khả định: Khi nào có thể khôi phục các biến nhân quả#

Nhiều tập biến ẩn khác nhau có thể giải thích cùng một ảnh, vì vậy CRL trước tiên đặt câu hỏi khi nào có thể xác định được các biến thực sự. Năm 2019, Locatello và các cộng sự chứng minh rằng không thể học các yếu tố đã tách biệt bằng học không giám sát nếu không có giả định về cả model lẫn dữ liệu; một nghiên cứu trên hơn 12.000 model đã huấn luyện thuộc bảy tập dữ liệu xác nhận rằng các phương pháp không giám sát không thể tìm ra các yếu tố thực sự một cách đáng tin cậy. Phân tích thành phần độc lập (ICA), trường hợp cơ sở tuyến tính, cho thấy giả định như vậy mang lại điều gì. Nếu các yếu tố độc lập được trộn tuyến tính, ICA có thể khôi phục chúng miễn là có nhiều nhất một yếu tố phân phối Gaussian, vì mọi phép quay của các biến Gaussian độc lập cũng tạo thành một tập các biến Gaussian độc lập:

import numpy as np
from sklearn.decomposition import FastICA

rng = np.random.default_rng(0)
mixing = np.array([[2.0, 1.0], [1.0, 1.0]])  # unknown map from two latent factors to two sensor readings

for name, latents in [
    ("Non-Gaussian factors", np.column_stack([rng.uniform(-1, 1, 5000), rng.laplace(size=5000)])),
    ("Gaussian factors", rng.normal(size=(5000, 2))),
]:
    observations = latents @ mixing.T
    recovered = FastICA(n_components=2, random_state=0).fit_transform(observations)
    # Correlation of each true factor with its best-matching recovered component (1.0 = recovered exactly)
    match = np.abs(np.corrcoef(latents.T, recovered.T)[:2, 2:]).max(axis=1)
    print(f"{name}: {match.round(2)}")

FastICA khôi phục chính xác cả hai yếu tố không Gaussian với hệ số tương quan 1.0. Với các yếu tố Gaussian, phương pháp này trả về một phép quay tùy ý, trong đó các thành phần chỉ tương ứng với từng yếu tố thực sự ở mức tương quan 0.85.

Các yếu tố nhân quả tạo thêm một khó khăn, vì nguyên nhân và hệ quả của chúng phụ thuộc lẫn nhau về mặt thống kê, nên các phương pháp CRL thay giả định độc lập bằng thông tin bổ sung về cách tạo ra dữ liệu. Dữ liệu được ghi lại trong các can thiệp hoặc ở nhiều môi trường, chẳng hạn như robot lần lượt di chuyển từng vật thể hoặc ảnh y tế từ nhiều bệnh viện, cho biết mỗi thay đổi tác động đến những biến nào. Video hữu ích khi các biến biến đổi liên tục và hành động can thiệp vào một số biến, như trong phương pháp CITRIS của Phillip Lippe và các cộng sự năm 2022. Các khung nhìn theo cặp cũng hữu ích: Julius von Kügelgen và các cộng sự chứng minh tại NeurIPS 2021 rằng học tương phản trên các cặp ảnh được tăng cường khôi phục nội dung không bị phép tăng cường thay đổi, qua một phép biến đổi khả nghịch và tách biệt nội dung đó khỏi phong cách bị thay đổi, ngay cả khi nội dung và phong cách phụ thuộc nhân quả. Huấn luyện có giám sát sử dụng cùng cách phân tách nội dung và phong cách. Theo mặc định, khi huấn luyện model phân loại Ultralytics YOLO26, các phép biến đổi gồm cắt ngẫu nhiên giữ lại 50% đến 100% diện tích ảnh, lật ngang, RandAugment và xóa ngẫu nhiên với xác suất 0.4; đây là quy trình tăng cường dữ liệu làm thay đổi phong cách trong khi nhãn lớp, tức nội dung, vẫn giữ nguyên.

CRL và các thuật ngữ liên quan#

• Khám phá nhân quả: Học đồ thị nhân quả giữa các biến đã được đo, chẳng hạn các cột nhiệt độ và áp suất trong một bảng. CRL phải học cả các biến lẫn đồ thị, bắt đầu từ pixel.
• Học biểu diễn tách biệt: Tìm các chiều ẩn, mỗi chiều nắm bắt một yếu tố độc lập. CRL cho phép các yếu tố gây ảnh hưởng lẫn nhau và mô hình hóa các mối liên hệ đó.
• Học tự giám sát: Cung cấp các tín hiệu huấn luyện, chẳng hạn các khung nhìn được tăng cường và thứ tự thời gian, mà nhiều kết quả về tính khả định của CRL dựa vào.
• AI có thể giải thích (XAI): Giải thích những đầu vào nào đã dẫn đến dự đoán của model đã huấn luyện, mà không đòi hỏi các biến nội tại của model phải tương ứng với nguyên nhân trong thế giới thực.