Concept Bottleneck Models

Модели с концептуальными узкими местами (CBM) — это нейронные сети, которые делают предсказания через промежуточный слой понятных человеку концептов. Вместо того чтобы сопоставлять входные данные напрямую с конечной меткой, CBM сначала предсказывает значимые атрибуты — такие как «красное крыло», «поверхностная трещина» или «сужение сустава» — и затем использует только эти атрибуты для принятия решения. Такая структура делает модель проще для проверки, отладки и исправления по сравнению с традиционной моделью «черного ящика».

Как работают модели с концептуальными узкими местами#

Стандартная нейронная сеть часто представляет информацию в непрозрачном латентном пространстве. CBM заменяет одну часть этого скрытого представления вектором концептов, измерения которого имеют определенные значения.

Конвейер предсказаний состоит из двух основных этапов:

1. Предиктор концептов сопоставляет сырые входные данные, такие как изображение, со значениями концептов.
2. Предиктор целей сопоставляет эти значения концептов с финальным классом или оценкой.

Например, классификатор птиц может предсказывать «черный клюв», «белую грудку» и «длинный хвост» перед тем, как определить вид. Концепты могут быть бинарными, категориальными или непрерывными. Обычно они изучаются с помощью обучения с учителем, что требует наличия в каждом обучающем примере как целевых меток, так и аннотаций концептов.

Эти два этапа могут обучаться независимо, последовательно или совместно. Независимое обучение делает разделение явным, в то время как совместное обучение позволяет сбалансировать качество концептов и производительность для конечной задачи. В любом случае узкое место должно ограничивать целевой предиктор объявленными концептами; в противном случае скрытая информация может обойти предполагаемое объяснение.

Почему важны интерпретируемость и вмешательство#

CBM представляют собой форму внутренней объяснимой ИИ: их интерпретируемая структура встроена в предсказание, а не добавляется постфактум. Это отличается от ретроспективных инструментов, таких как карты значимости, которые оценивают, что повлияло на уже обученный черный ящик.

Концептуальный слой поддерживает несколько полезных взаимодействий:

• Пользователи могут проверить, какие именно концепты привели к принятию решения.
• Эксперты предметной области могут исправить неточный концепт и пересчитать результат.
• Разработчики могут проверить, следует ли целевой предиктор допустимой логике предметной области.
• Команды могут измерять точность концептов отдельно от точности решения конечной задачи.

Эти возможности согласуются с руководством NIST по объяснимому ИИ и ориентированными на человека элементами управления, обсуждаемыми в руководстве People + AI Guidebook. Однако понятное объяснение не обязательно является правильным. Качество концептов необходимо оценивать, а не принимать на веру.

Реальные приложения#

• Анализ медицинских изображений: Модель, изучающая рентгеновский снимок, может оценить такие концепты, как костные разрастания (остеофиты), сужение суставной щели и склероз, прежде чем классифицировать степень тяжести заболевания. Клиницист может просмотреть или исправить эти промежуточные выводы вместо того, чтобы получать только оценку тяжести. Такое взаимодействие человека и модели особенно актуально для принципов прозрачности FDA для медицинских устройств на базе машинного обучения.

• Визуальный контроль в производстве: Система технического зрения может идентифицировать такие концепты, как недостающие компоненты, трещины, изменение цвета или неправильное выравнивание, а затем использовать их для принятия решения о том, проходит ли продукт проверку или требует определенного ремонта. Обнаружение объектов может локализовать компоненты и дефекты, в то время как последующий классификатор на основе концептов выдает проверяемое решение о качестве.

Ограничения и связанные концепции#

Метки концептов создают дополнительные затраты на аннотирование данных и могут требовать специальных знаний. Плохо определенные концепты могут быть субъективными, коррелированными, неполными или трудно распознаваемыми по входным данным. Командам следует создавать точные правила разметки и проверять расхождения между аннотаторами.

Другие важные риски включают ошибки предсказания концептов, не откалиброванные оценки и утечку концептов, когда значения непрерывных концептов кодируют непреднамеренную информацию помимо их заявленного смысла. Руководство по калибровке вероятностей может помочь определить, заслуживают ли доверия значения уверенности в концептах.

CBM также отличается от инженерии признаков: спроектированные признаки — это вручную вычисляемые входы, тогда как концепты обычно предсказываются из сырых данных и явно контролируются. Это не то же самое, что принцип информационного узкого места, который сжимает представления без требования, чтобы каждое измерение было читаемым для человека.

Производительность концептов следует проверять на релевантных срезах данных, поскольку предвзятые аннотации или пропущенные концепты могут приводить к неравным ошибкам. Руководство Google по выявлению предвзятости в МО и ядро NIST AI RMF Core предоставляют полезные практики оценки и управления.

Создание практического конвейера технического зрения#

Модель Ultralytics YOLO26 может выступать в роли восходящего экстрактора визуальных концептов. Следующий рабочий процесс в режиме предсказания (Predict) собирает обнаруженные классы объектов в качестве кандидатных сигналов концептов:

from ultralytics import YOLO

# Load a pretrained visual concept extractor
model = YOLO("yolo26n.pt")

# Run inference and select the first result
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detected classes into human-readable concept candidates
concepts = {result.names[int(class_id)] for class_id in result.boxes.cls}
print(sorted(concepts))

result.save(filename="concept_candidates.jpg")

Это еще не полноценная CBM: для предсказания финальной цели исключительно на основе выбранных концептов все еще необходимо обучить нисходящую модель. Команды могут использовать Ultralytics Platform для аннотирования визуальных данных, обучения экстракторов концептов, сравнения экспериментов и мониторинга развернутых компонентов. Оценивай точность концептов, целевую точность, калибровку, поведение при вмешательстве и важные подгруппы по отдельности, используя структурированный рабочий процесс оценки модели.