Causal Representation Learning

Обучение причинным представлениям (CRL) — это задача извлечения из высокоразмерных наблюдений, например пикселей, небольшого набора скрытых переменных, соответствующих реальным причинам возникновения данных, а также причинно-следственных связей между ними. Модель с таким представлением может предсказывать, что произойдёт при изменении одного фактора, например при перемещении источника света или толчке объекта, и продолжает работать, даже когда меняются корреляции в её обучающих данных, — это один из видов дрейфа данных. В 2021 году Бернхард Шёлькопф, Франческо Локателло, Ёсуа Бенжи и их коллеги изложили программу исследований в работе Toward Causal Representation Learning, объединив обучение представлениям из области глубокого обучения со структурными причинными моделями из области причинного вывода, в которых предполагается, что причинные переменные уже заданы.

Почему обычные представления не справляются#

Сеть, обученная для классификации изображений, отображает каждое изображение в скрытое пространство, признаки которого максимально хорошо предсказывают метку на обучающем распределении; при этом ничто не мешает этим признакам смешивать объект с его окружением. В 2018 году Сара Бири, Грант Ван Хорн и Пьетро Перона показали, что классификаторы, распознающие коров на зелёных пастбищах, могут ошибаться, если корова стоит на пляже: фон становился частью того, что модель понимала под «коровой». Эта ошибка, называемая обучением на простых эвристиках, возникает из-за смещения набора данных, и дополнительные данные из того же распределения её не устраняют.

CRL основано на идее, что мир состоит из независимых причинных механизмов: изменение в реальном мире, например появление новой камеры, новое освещение или действие робота, меняет лишь несколько механизмов, а остальные оставляет без изменений. В представлении, переменные которого соответствуют этим механизмам, такое изменение затрагивает лишь несколько переменных. Синтетический набор данных Pendulum, использованный для оценки CausalVAE — причинного вариационного автокодировщика 2021 года, — демонстрирует целевую структуру: угол маятника и угол света совместно определяют положение и длину тени, а все четыре величины отображаются на одном изображении.

Идентифицируемость: когда можно восстановить причинные переменные#

Одни и те же изображения могут объясняться множеством разных наборов скрытых переменных, поэтому CRL сначала выясняет, при каких условиях истинные переменные идентифицируемы. В 2019 году Локателло и его коллеги доказали, что выделить независимые факторы с помощью обучения без учителя невозможно без допущений и о модели, и о данных; исследование более 12 000 обученных моделей на семи наборах данных подтвердило, что методы без учителя не способны надёжно находить истинные факторы. Анализ независимых компонент (ICA), базовый линейный случай, показывает, что дают такие допущения. Если независимые факторы линейно смешаны, ICA может восстановить их, если не более одного из них имеет гауссово распределение: любое вращение независимых гауссовых переменных снова даёт набор независимых гауссовых переменных:

import numpy as np
from sklearn.decomposition import FastICA

rng = np.random.default_rng(0)
mixing = np.array([[2.0, 1.0], [1.0, 1.0]])  # unknown map from two latent factors to two sensor readings

for name, latents in [
    ("Non-Gaussian factors", np.column_stack([rng.uniform(-1, 1, 5000), rng.laplace(size=5000)])),
    ("Gaussian factors", rng.normal(size=(5000, 2))),
]:
    observations = latents @ mixing.T
    recovered = FastICA(n_components=2, random_state=0).fit_transform(observations)
    # Correlation of each true factor with its best-matching recovered component (1.0 = recovered exactly)
    match = np.abs(np.corrcoef(latents.T, recovered.T)[:2, 2:]).max(axis=1)
    print(f"{name}: {match.round(2)}")

FastICA восстанавливает оба негауссовых фактора с корреляцией 1.0. Для гауссовых факторов алгоритм возвращает произвольное вращение, компоненты которого совпадают с каждым истинным фактором лишь с корреляцией 0.85.

Причинные факторы добавляют ещё одну сложность: причины и их следствия статистически зависимы, поэтому методы CRL заменяют допущение о независимости дополнительной информацией о том, как были получены данные. Данные, записанные при вмешательствах или в нескольких средах, например когда робот поочерёдно перемещает отдельные объекты или медицинские изображения поступают из нескольких больниц, показывают, на какие переменные влияет каждое изменение. Видео полезно, если переменные меняются плавно, а действия воздействуют на некоторые из них, как в методе CITRIS Филипа Липпе и его коллег (2022). Помогают и парные представления: Юлиус фон Кюгельген и его коллеги доказали на NeurIPS 2021, что контрастивное обучение на дополненных парах изображений восстанавливает содержимое, не меняющееся при аугментациях, с точностью до обратимого преобразования и отдельно от изменяемого ими стиля — даже когда содержание и стиль причинно зависимы. Обучение с учителем использует то же разделение на содержание и стиль. По умолчанию обучение классификационной модели Ultralytics YOLO26 включает случайные обрезки, сохраняющие от 50% до 100% площади изображения, горизонтальные отражения, RandAugment и случайное стирание с вероятностью 0,4. Этот набор методов аугментации данных меняет стиль, сохраняя метку класса — содержание изображения.

CRL и связанные понятия#

• Причинное обнаружение: Выявляет причинный граф между уже измеренными переменными, например столбцами температуры и давления в таблице. CRL должен научиться и переменным, и графу, начиная с пикселей.
• Обучение разделённым представлениям: Ищет скрытые измерения, каждое из которых отражает один независимый фактор. CRL допускает, что факторы влияют друг на друга, и моделирует эти связи.
• Обучение с самоконтролем: Предоставляет обучающие сигналы, например дополненные представления и временной порядок, на которых основаны многие результаты об идентифицируемости в CRL.
• Объяснимый искусственный интеллект (XAI): Объясняет, какие входные данные повлияли на предсказание обученной модели, не требуя, чтобы её внутренние переменные соответствовали реальным причинам.