Causal Representation Learning

Каузальное представление данных (CRL) — это подход к машинному обучению, цель которого — преобразовывать сложные наблюдения (такие как изображения, видео, аудио или показания датчиков) в высокоуровневые переменные, отражающие то, как лежащая в основе система порождает причинно-следственные связи. Вместо изучения признаков, которые просто предсказывают метки, CRL стремится найти представления, соответствующие значимым факторам, таким как положение объекта, освещение, состояние машины или действия человека.

Цель состоит в том, чтобы заставить модели рассуждать о том, что может произойти при изменении какого-либо фактора, а не полагаться только на корреляции, наблюдаемые во время обучения. Это объединяет традиционное обучение представлений с помощью вложений с идеями каузального вывода, помогая системам ИИ обобщать данные в разных средах и поддерживать вмешательства, контрфактические вопросы и принятие решений.

Как работает каузальное представление данных#

Нейронная сеть обычно отображает многомерные входные данные во внутреннее латентное пространство. Как объясняется в ведении Google в вложения для машинного обучения, эти компактные векторы могут сохранять полезные связи, одновременно снижая сложность входных данных. Однако обычное вложение может смешивать каузальные свойства со случайными паттернами.

Например, классификатор дикой природы может связывать снег с волками, потому что большинство изображений волков в его обучающем наборе имеют заснеженный фон. Каузальное представление должно отделять идентичность животного от фоновых условий, позволяя модели распознавать волков в лесах или на лугах.

CRL обычно включает три взаимосвязанных направления:

• Восстановление значимых латентных переменных: представление должно фиксировать базовые факторы, порождающие наблюдения, а не только удобные предиктивные короткие пути.
• Моделирование каузальной структуры: связи между переменными могут выражаться с помощью ориентированного графа в соответствии с принципами, описанными в фреймворках каузальных моделей.
• Сохранение стабильности при вмешательствах: изменение одного фактора должно вызывать соответствующее локальное изменение в представлении. Документация по вмешательствам DoWhy иллюстрирует, чем вмешательства отличаются от простого кондиционирования по наблюдаемым данным.

Вмешательство активно задает переменную, например изменяя скорость робота. Контрфактический подход вместо этого спрашивает, что произошло бы при других настройках, например произошло ли бы столкновение, если бы робот двигался медленнее.

Связанные концепции и ключевые различия#

CRL пересекается с несколькими идеями машинного обучения, но имеет четкую цель.

• Контрастное обучение изучает представления, сближая похожие примеры и разделяя несхожие. Оно может поддерживать CRL, но само по себе сходство не устанавливает причинно-следственную связь.
• Самообучение создает обучающие сигналы из неразмеченных данных. CRL может использовать эти сигналы, добавляя предположения о вмешательствах, средах, времени или каузальной структуре.
• Каузальный вывод обычно оценивает эффекты между уже определенными переменными, такими как лечение, возраст и выздоровление. CRL сначала обнаруживает полезные каузальные переменные из сырых перцептивных данных. Это различие является центральным для общего обзора каузального представления данных.
• Обучение разделенным (disentangled) представлениям пытается назначить отдельные латентные измерения независимым факторам. Разделенное представление не обязательно является каузальным, поскольку разделенные факторы все еще могут не указывать направление влияния или реакцию на вмешательство.
• Каузальное обнаружение ищет связи между переменными. CRL дополнительно изучает сами переменные. Кандидатные структуры следует проверять везде, где это возможно, как описано в разделе опровержения графов DoWhy.

В многоракурсном CRL разные камеры или датчики наблюдают за одной и той же системой с разных точек зрения. Частичная наблюдаемость означает, что каждый ракурс раскрывает лишь некоторые каузальные факторы. Непарные многодоменные условия сложнее, потому что наблюдения из разных сред не сопоставляются экземпляр за экземпляром.

Реальные приложения#

Автономная робототехника: складской робот получает данные с камер, датчиков глубины и движения, содержащие информацию о положении препятствий, освещении, текстуре пола и собственном перемещении. Каузальное представление может отделить управляемые факторы, такие как рулевое управление, от факторов среды, таких как тени. Обучение с рандомизацией домена может подвергнуть систему контролируемым изменениям, в то время как каузальная структура помогает определить, какие изменения должны влиять на решения по навигации.

Контроль производства: детектор дефектов может ошибочно связывать производственную линию, угол камеры или цвет материала с дефектными изделиями. CRL помогает изолировать тип дефекта, настройки машины и освещение как отдельные факторы. Это уменьшает сокращенное обучение при смене оборудования или заводов и облегчает расследование того, способствовала ли температура или давление процесса появлению дефекта, а не просто сопровождала его.

Практический рабочий процесс и ограничения#

Ultralytics YOLO может генерировать стандартные визуальные вложения, которые разработчики могут изучить перед проектированием отдельного конвейера каузального обучения:

from ultralytics import YOLO

# Load a pretrained image classification model
model = YOLO("yolo26n-cls.pt")

# Generate an ordinary visual representation
source = "https://ultralytics.com/images/bus.jpg"
embeddings = model.embed(source)

# Inspect the selected image embedding
embedding = embeddings[0]
print(embedding.shape)

Этот задокументированный рабочий процесс Ultralytics YOLO26 извлекает вложение, но сам по себе не делает представление каузальным. Установление причинно-следственных связей требует подходящих данных, предположений, вмешательств, нескольких сред или временных свидетельств.

Практикам следует варьировать предполагаемые мешающие факторы, оценивать производительность в разных доменах и проверять предвзятость набора данных. Платформа Ultralytics может помочь в разметке данных, обучении, развертывании и контролируемом версионировании наборов данных. После развертывания непрерывный мониторинг модели имеет решающее значение, поскольку стабильная точность валидации не гарантирует каузальную валидность. Оценка также должна следовать общим рекомендациям NIST по валидности и надежности ИИ и включать проверку подгрупп, подобную описанной в руководстве Google по выявлению предвзятости наборов данных.