Concept Bottleneck Models

Модели с концептуальным узким местом (CBMs) — это нейронные сети, которые выдают прогноз через промежуточный слой понятных человеку концепций. Вместо того чтобы напрямую преобразовывать входные данные в итоговую метку, CBM сначала прогнозирует значимые признаки — например, «красное крыло», «трещина на поверхности» или «сужение суставной щели», — а затем использует только эти признаки для принятия решения. Благодаря такой структуре модель проще анализировать, отлаживать и исправлять, чем обычную модель типа «чёрного ящика».

Как работают модели с концептуальным узким местом#

Стандартная нейронная сеть часто представляет информацию в непрозрачном латентном пространстве. CBM заменяет часть этого скрытого представления вектором концепций, измерения которого имеют определённые значения.

Конвейер прогнозирования состоит из двух основных этапов:

1. Предиктор концепций преобразует исходные данные, например изображение, в значения концепций.
2. Предиктор целевого показателя преобразует эти значения концепций в итоговый класс или оценку.

Например, классификатор птиц может сначала спрогнозировать признаки «чёрный клюв», «белая грудка» и «длинный хвост», а затем определить вид. Концепции могут быть бинарными, категориальными или непрерывными. Обычно они изучаются с помощью обучения с учителем, поэтому каждый пример в обучающей выборке должен содержать как целевые метки, так и аннотации концепций.

Эти два этапа можно обучать независимо, последовательно или совместно. Независимое обучение делает разделение явным, а совместное позволяет сбалансировать качество концепций и эффективность решения целевой задачи. В любом случае узкое место должно ограничивать предиктор целевого показателя заявленными концепциями; иначе скрытая информация может обойти предусмотренное объяснение.

Почему важны интерпретируемость и вмешательство#

CBMs — это разновидность встроенного объяснимого ИИ: их интерпретируемая структура заложена в сам процесс прогнозирования, а не добавляется после обучения. Это отличается от таких инструментов постфактум, как карты значимости, которые оценивают, что повлияло на уже обученную модель типа «чёрного ящика».

Слой концепций поддерживает несколько полезных способов взаимодействия:

• Пользователи могут проверить, какие концепции привели к принятому решению.
• Отраслевые эксперты могут исправить неточную концепцию и повторно вычислить результат.
• Разработчики могут проверить, следует ли предиктор целевого показателя корректной логике предметной области.
• Команды могут отдельно измерять точность концепций и точность решения целевой задачи.

Эти возможности соответствуют рекомендациям NIST по объяснимому ИИ и ориентированным на человека средствам управления, описанным в People + AI Guidebook. Однако понятное объяснение не обязательно является правильным. Верность концепций необходимо оценивать, а не принимать на веру.

Практические применения#

• Анализ медицинских изображений: Модель, анализирующая рентгеновский снимок, может оценивать такие концепции, как костные разрастания, сужение суставной щели и склероз, прежде чем определить степень тяжести заболевания. Врач может проверить или исправить эти промежуточные результаты, а не получать только оценку тяжести. Такое взаимодействие человека с моделью особенно важно в контексте принципов прозрачности FDA для медицинских устройств на основе машинного обучения.

• Визуальный контроль качества на производстве: Система компьютерного зрения может выявлять такие концепции, как отсутствие компонентов, трещины, изменение цвета или неправильное выравнивание, а затем использовать их, чтобы определить, прошёл ли продукт проверку или требует определённого ремонта. Обнаружение объектов может локализовать компоненты и дефекты, а последующий классификатор на основе концепций — принимать проверяемое решение о качестве.

Ограничения и связанные концепции#

Метки концепций увеличивают затраты на дополнительную аннотацию данных и могут требовать специальных знаний. Плохо определённые концепции могут быть субъективными, коррелированными, неполными или трудными для распознавания по входным данным. Командам следует создавать точные правила разметки и анализировать разногласия между аннотаторами.

К другим важным рискам относятся ошибки прогнозирования концепций, нескалиброванные оценки и утечка концепций, при которой непрерывные значения концепций кодируют непредусмотренную информацию, выходящую за рамки их заявленного смысла. Рекомендации по калибровке вероятностей помогут определить, заслуживают ли доверия значения уверенности концепций.

CBM также отличается от конструирования признаков: сконструированные признаки вычисляются вручную и подаются на вход, тогда как концепции обычно прогнозируются по исходным данным и явно контролируются в процессе обучения. Это не то же самое, что принцип информационного узкого места, который сжимает представления, не требуя, чтобы каждое измерение было понятно человеку.

Производительность концепций следует проверять на соответствующих срезах данных, поскольку предвзятые аннотации или отсутствующие концепции могут приводить к неравномерным ошибкам. Рекомендации Google по выявлению смещения в ML и NIST AI RMF Core содержат полезные рекомендации по оценке и управлению.

Создание практического конвейера компьютерного зрения#

Модель Ultralytics YOLO26 может выступать в роли вышестоящего экстрактора визуальных концепций. Следующий рабочий процесс режима Predict собирает обнаруженные классы объектов в качестве возможных сигналов концепций:

from ultralytics import YOLO

# Load a pretrained visual concept extractor
model = YOLO("yolo26n.pt")

# Run inference and select the first result
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detected classes into human-readable concept candidates
concepts = {result.names[int(class_id)] for class_id in result.boxes.cls}
print(sorted(concepts))

result.save(filename="concept_candidates.jpg")

Это не полноценный CBM: для прогнозирования итоговой цели необходимо дополнительно обучить нижестоящую модель, используя исключительно выбранные концепции. Команды могут использовать Ultralytics Platform для аннотирования визуальных данных, обучения экстракторов концепций, сравнения экспериментов и мониторинга развёрнутых компонентов. Отдельно оценивай точность концепций, точность целевого показателя, калибровку, поведение при вмешательстве и важные подгруппы с помощью структурированного рабочего процесса оценки модели.