Mechanistic Interpretability

Механистическая интерпретируемость — область исследований, которая выполняет обратную разработку обученных нейронных сетей, выявляя понятные человеку механизмы: признаки, представленные моделью в активациях, и цепочки весов и компонентов, которые преобразуют эти признаки в результат. Если при большинстве видов оценки модель рассматривают как чёрный ящик и судят по её предсказаниям, то механистическая интерпретируемость рассматривает веса как скомпилированную программу, которую нужно декомпилировать. Эта область выросла из исследований небольших моделей компьютерного зрения и стала важной частью исследований безопасности ИИ, посвящённых большим языковым моделям (LLM); MIT Technology Review включил её в список 10 прорывных технологий 2026 года.

Признаки, схемы и суперпозиция#

В основе области лежат несколько рабочих гипотез, изложенных для классификаторов изображений в статье Distill «Приближение: введение в схемы»:

• Признаки: Направления в пространстве активаций слоя, соответствующие значимым свойствам входных данных. В ранних слоях свёрточной нейронной сети (CNN) есть детекторы кривых и границ, а в поздних — признаки частей объектов, например колёс или собачьих морд.
• Схемы: Группы связанных весами признаков, реализующие алгоритм. В трансформерах индукционные головы — это пары голов механизма внимания, которые находят предыдущее вхождение текущего токена и копируют то, что шло за ним. Этот механизм лежит в основе обучения в контексте. В одном исследовании для GPT-2 small удалось проследить за работой схемы, дополняющей предложение «Когда Мэри и Джон пошли в магазин, Джон дал напиток» именем «Мэри»: в ней участвовали 26 голов внимания, объединённых в 7 функциональных групп.
• Суперпозиция: Модели представляют больше признаков, чем у них есть нейронов, накладывая признаки друг на друга, поэтому один нейрон часто реагирует на несколько не связанных между собой понятий. Эта полисемантичность делает отдельные нейроны неудобными единицами анализа и подтолкнула исследователей к методам обучения словаря.

Основные методы#

Исследователи сочетают наблюдение, помогающее находить возможные признаки, с вмешательством, позволяющим проверить, действительно ли эти признаки важны:

• Линейное зондирование: Обучение простого классификатора на активациях, чтобы проверить, можно ли линейно декодировать понятие на данном слое. Зонд показывает наличие информации, но чтобы установить, использует ли её модель, необходимо вмешательство.
• Абляция и подмена активаций: Обнуление активации или замена её значением, полученным для другого входа, с последующим измерением изменения результата. Эти причинно-следственные тесты помогают отделить компоненты, вычисляющие определённое поведение, от тех, которые лишь коррелируют с ним.
• Разреженные автоэнкодеры (SAE): Сети, разлагающие активации слоя на гораздо большее число редко активируемых признаков и тем самым устраняющие суперпозицию. В работе Anthropic «Масштабирование моносемантичности» из Claude 3 Sonnet извлекли миллионы признаков, в том числе признак моста Золотые Ворота; принудительная установка его высокого значения привела к тому, что модель стала описывать себя как этот мост.
• Графы атрибуции: В работе Anthropic 2025 года по трассировке схем в Claude 3.5 Haiku слои MLP модели заменили интерпретируемым приближением и проследили пути от одного признака к другому. Так удалось показать, как модель приходит к ответу «Остин» на основе фразы «столица штата, где находится Даллас», проходя через промежуточный шаг «Техас», а также как она выбирает рифмующееся слово до того, как пишет заканчивающуюся им строку стихотворения.
• Направление поведения: Добавление или вычитание направления признака во время инференса для изменения поведения — основа векторов управления и инженерии представлений.

Типичное исследование чередует эти методы:

Абляция каналов в модели компьютерного зрения#

Абляция — самый простой причинно-следственный тест. Фрагмент ниже загружает предварительно обученную ResNet-18 из torchvision, с помощью прямого хука PyTorch поочерёдно обнуляет каждый из 256 каналов карт признаков промежуточного слоя и записывает, насколько снижается логит класса, получившего наивысшую оценку модели:

import urllib.request

import torch
from PIL import Image
from torchvision.models import ResNet18_Weights, resnet18

weights = ResNet18_Weights.DEFAULT
model = resnet18(weights=weights).eval()
image = Image.open(urllib.request.urlopen("https://ultralytics.com/images/bus.jpg"))
x = weights.transforms()(image).unsqueeze(0)

with torch.no_grad():
    logits = model(x)
    top = logits.argmax().item()
    drops = torch.zeros(256)
    for c in range(256):  # zero one layer3 channel at a time and record how far the top-class logit falls
        handle = model.layer3.register_forward_hook(lambda m, i, out: out.index_fill(1, torch.tensor([c]), 0))
        drops[c] = logits[0, top] - model(x)[0, top]
        handle.remove()

values, channels = drops.topk(3)
print(f"{weights.meta['categories'][top]}: logit {logits[0, top]:.2f}, median drop {drops.median():.3f}")
print(f"largest drops: channels {channels.tolist()} -> {values.round(decimals=2).tolist()}")

Модель предсказывает класс «микроавтобус» с логитом 13,42. Удаление типичного канала почти не меняет этот логит (медианное снижение — 0,002), тогда как удаление только канала 62 снижает его на 1,80, а каналов 70 и 155 — примерно на 1,15 каждый. Значит, значительная часть свидетельств приходится на несколько каналов. Они становятся отправной точкой для следующих шагов: визуализации того, что обнаруживает каждый из них, и отслеживания признаков, которые поступают в него из предыдущих слоёв.

Механистическая интерпретируемость и объяснимый ИИ#

Объяснимый искусственный интеллект (XAI) — более широкая область, посвящённая пониманию решений модели; значительная часть её методов основана на атрибуции: карты значимости и карты активации классов выделяют пиксели входных данных, повлиявшие на предсказание. Если установить visualize=True в режиме predict Ultralytics YOLO26, тепловая карта будет сохранена рядом с каждым предсказанием и покажет, какие пиксели повысили оценки предсказанных классов. Атрибуция отвечает на вопрос, куда смотрела модель; механистическая интерпретируемость выясняет, какие внутренние признаки и схемы преобразовали эти пиксели в оценку. Модели с концептуальным узким местом используют третий подход: интерпретируемость закладывается в архитектуру, которая заставляет модель строить предсказания через понятия с названиями, заданными человеком.

Применение и ограничения#

Механистические инструменты используют для проверки LLM на нежелательное поведение перед выпуском, например отслеживая направления активаций, связанные с обманом или подхалимством, а также для отладки моделей компьютерного зрения, которые полагаются на короткие пути. Например, классификатор кожных поражений может усвоить, что линейки, которые дерматологи размещают рядом с подозрительными поражениями, указывают на злокачественность. Такие проверки важны в анализе медицинских изображений, где модель может хорошо показывать себя на тестовой выборке по неверной причине. Открытые инструменты, такие как TransformerLens, упрощают использование хуков, кэширование и подмену активаций в моделях-трансформерах.

Главное ограничение этой области — неполный охват. SAE неидеально восстанавливают активации, поэтому часть вычислений остаётся необъяснённой, а модели-замены, используемые для графов атрибуции, отражают лишь некоторые аспекты поведения передовой модели на заданном промпте. Проверка каждой схемы по-прежнему требует значительных усилий человека, поэтому полноценное объяснение работы крупных моделей остаётся недостижимым.