Shortcut Learning

Обучение на эвристиках происходит, когда модель решает задачу обучения с помощью простого признака, который предсказывает метку в обучающих данных, но не имеет отношения к понятию, которое модель должна была освоить. Модель показывает хорошие результаты на любой тестовой выборке, где такой признак сохраняется, и терпит неудачу, когда он исчезает. Роберт Гейрхос и его коллеги охарактеризовали эту проблему в работе Обучение на эвристиках в глубоких нейронных сетях — статье-мнении 2020 года в Nature Machine Intelligence. Они определили эвристики как правила принятия решений, которые хорошо работают на стандартных бенчмарках, но не переносятся на более сложные условия, например реальное использование. Классическая аналогия — умная лошадь Ганс, которая якобы умела считать, но на самом деле считывала язык тела своего дрессировщика.

Эвристики в опубликованных моделях#

Короткие пути обнаруживали во многих опубликованных моделях:

• Больничные признаки в медицинских изображениях: В исследовании 2018 года Джон Зек и его коллеги обнаружили, что классификаторы пневмонии, обученные на рентгеновских снимках грудной клетки из нескольких больничных систем, могли определить, из какой больницы пришло изображение. Поскольку частота заболеваний в больницах различалась, информация об источнике помогала предсказать диагноз. На данных больниц, отсутствовавших в обучающей выборке, качество часто было ниже — это повторяющийся риск для ИИ в радиологии.
• Рентгенограммы при COVID-19: В анализе 2021 года Алекс ДеГрейв и его коллеги обнаружили, что детекторы COVID-19 опирались на текстовые маркеры, положение пациента и различия между источниками данных, а не на признаки поражения лёгких; на данных новых больниц они теряли значительную часть точности.
• Фон на снимках фотоловушек: Исследование 2018 года «Распознавание в Terra Incognita» Сары Бири и её коллег показало, что модели классификации изображений связывали животных с местами и фоном, где их фотографировали. Поэтому на новых площадках с камерами точность падала — известная проблема для ИИ в охране дикой природы. Статья начинается с описания коровы на пляже, которую коммерческий классификатор изображений не смог распознать, тогда как коровы на альпийских пастбищах были классифицированы правильно.
• Текстура важнее формы: Свёрточные нейронные сети, обученные на ImageNet, классифицировали изображение с формой кошки и текстурой слоновьей кожи как слона, как показали Гейрхос и его коллеги в 2019 году.

Почему стандартная валидация не выявляет проблему#

При случайном разделении на обучающую и валидационную выборки эвристика попадает в обе части, поэтому точность на валидационных данных кажется отличной. Сбой проявляется только на данных, собранных иначе: на новом объекте, с другой камерой, в другой больнице, в другой сезон или период времени.

Именно этим обучение на коротких путях отличается от связанных проблем:

• Переобучение: Запоминание специфического для обучающей выборки шума, которое проявляется в разнице между оценками на обучающей и валидационной выборках. Эвристика может отлично обобщаться на валидационную выборку из того же источника.
• Утечка данных: В признаки или разделение выборок попадает информация, которой не будет во время предсказания. Утечка — один из конкретных, часто случайных, способов появления эвристики в наборе данных.
• Смещение набора данных: Перекос в собранных данных, например когда все положительные примеры получены на одном сканере, создаёт условия для использования эвристики.

Несколько строк кода scikit-learn воспроизводят этот сбой с помощью логистической регрессии на двух признаках: слабом подлинном сигнале и эвристике, почти идеально соответствующей метке на обучающей выборке.

import numpy as np
from sklearn.linear_model import LogisticRegression

rng = np.random.default_rng(0)
labels = rng.integers(0, 2, 2000)

# A weak genuine signal and a shortcut that tracks the label almost perfectly
signal = labels + rng.normal(0, 1.0, labels.size)
shortcut = labels + rng.normal(0, 0.1, labels.size)

model = LogisticRegression()
model.fit(np.column_stack([signal, shortcut]), labels)

# At deployment the shortcut no longer carries any label information
shifted = rng.permutation(shortcut)
print(f"In-distribution accuracy: {model.score(np.column_stack([signal, shortcut]), labels):.2f}")
print(f"Shifted accuracy: {model.score(np.column_stack([signal, shifted]), labels):.2f}")

После перемешивания эвристики точность падает с 1,00 до 0,52. Один лишь подлинный сигнал обеспечивает точность около 70%, но модель присвоила эвристике коэффициент примерно в 18 раз больше, чем сигналу, и почти ничему не научилась на более сложном признаке.

Как найти и устранить короткие пути#

Самый надёжный тест оценивает модель на данных, для которых эвристика неприменима: на целых объектах, камерах или периодах времени, исключённых из обучения, а не на случайно выбранных изображениях. Большой разрыв между такой оценкой и оценкой на данных из того же распределения указывает на использование фона, освещения или характеристик сенсора. Анализ данных позволяет найти возможные причины до обучения. Панель кластеризации в Ultralytics Platform размещает визуально похожие изображения рядом на двумерной карте и раскрашивает их по классу, разделу выборки или ширине и высоте изображения. Так класс, образующий отдельный остров из-за того, что изображения сняты одной камерой, заметен ещё до того, как модель YOLO26 научится распознавать камеру вместо объекта.

Контрфактические изменения позволяют непосредственно проверить предполагаемый признак. Замена фона, удаление наложения или обрезка маркера не меняют правильное предсказание, но меняют предсказание, основанное на эвристике. Методы атрибуции из области объяснимого ИИ (XAI), например карты значимости, показывают, какие пиксели влияют на предсказание; в исследовании COVID-19 они выделяли границы изображения и текст, а не лёгкие.

Чтобы устранить эвристику, обычно нужно изменить данные. Сбор примеров, в которых признак не соответствует метке, например фотографий дефектных деталей на разных подложках и фонах, разрушает эту корреляцию. Аугментация данных, меняющая цвет, масштаб и расположение, ослабляет признаки, связанные с этими свойствами; рандомизация домена делает то же самое для синтетических изображений, случайным образом меняя текстуры, освещение и фон. Если группы, несущие эвристику, известны, групповая распределительно-робастная оптимизация минимизирует потери самой слабой группы вместо средних потерь.