Concept Bottleneck Models

개념 병목 모델(CBM)은 인간이 이해할 수 있는 개념의 중간 계층을 통해 예측을 수행하는 신경망입니다. CBM은 입력을 최종 레이블에 직접 매핑하는 대신, 먼저 "붉은색 날개", "표면 균열" 또는 "관절 협착"과 같은 의미 있는 속성을 예측한 다음 해당 속성만 사용하여 결정을 내립니다. 이 구조는 기존의 블랙박스 모델보다 모델을 검사, 디버깅 및 수정하기 더 쉽게 만듭니다.

개념 병목 모델의 작동 방식#

표준 신경망은 종종 불투명한 잠재 공간에서 정보를 표현합니다. CBM은 해당 숨겨진 표현의 일부분을 차원이 정의된 의미를 갖는 개념 벡터로 대체합니다.

예측 파이프라인에는 두 가지 주요 단계가 있습니다.

1. 개념 예측기는 이미지와 같은 원시 입력을 개념 값에 매핑합니다.
2. 타겟 예측기는 해당 개념 값을 최종 클래스 또는 점수에 매핑합니다.

예를 들어, 조류 분류기는 종을 식별하기 전에 "검은 부리", "흰 가슴", "긴 꼬리"를 예측할 수 있습니다. 개념은 이진형, 범주형 또는 연속형일 수 있습니다. 개념은 대개 지도학습을 통해 학습되며, 각 훈련 예제에 타겟 레이블과 개념 어노테이션이 모두 포함되어야 합니다.

두 단계는 독립적으로, 순차적으로 또는 공동으로 훈련할 수 있습니다. 독립적인 훈련은 분리를 명확하게 만드는 반면, 공동 훈련은 개념 품질과 최종 작업 성능 간의 균형을 맞출 수 있습니다. 모든 경우에 병목 현상은 타겟 예측기를 선언된 개념으로 제한해야 하며, 그렇지 않으면 숨겨진 정보가 의도한 설명을 우회할 수 있습니다.

해석 가능성과 개입이 중요한 이유#

CBM은 고유한 설명 가능한 AI의 한 형태입니다. 해석 가능한 구조가 사후에 추가되는 것이 아니라 예측에 내장되어 있습니다. 이는 이미 훈련된 블랙박스에 영향을 미친 요소를 추정하는 설명 지도(saliency maps)와 같은 사후 도구와 다릅니다.

개념 계층은 몇 가지 유용한 상호작용을 지원합니다.

• 사용자는 어떤 개념이 결정을 유발했는지 검사할 수 있습니다.
• 도메인 전문가가 정확하지 않은 개념을 수정하고 출력을 다시 계산할 수 있습니다.
• 개발자는 타겟 예측기가 유효한 도메인 로직을 따르는지 테스트할 수 있습니다.
• 팀은 최종 작업 정확도와 별개로 개념 정확도를 측정할 수 있습니다.

설명 가능한 AI에 관한 NIST 지침 및 People + AI 가이드북에서 논의된 인간 중심 제어는 이러한 기능과 일치합니다. 그러나 이해하기 쉬운 설명이 곧바로 올바른 설명인 것은 아닙니다. 개념 충실도는 가정하는 것이 아니라 평가해야 합니다.

실제 애플리케이션 사례#

• 의료 영상 분석: 엑스레이를 검사하는 모델은 질병 심각도를 평가하기 전에 골극, 관절 간격 협착, 경화증과 같은 개념을 추정할 수 있습니다. 임상의는 심각도 점수만 받는 대신 이러한 중간 결과를 검토하거나 수정할 수 있습니다. 이 인간-모델 상호작용은 머신러닝 의료 기기를 위한 FDA 투명성 원칙과 특히 관련이 있습니다.

• 제조업 시각 검사: 비전 시스템은 누락된 부품, 균열, 변색 또는 잘못된 정렬과 같은 개념을 식별한 다음, 이를 사용하여 제품이 검사를 통과하는지 또는 특정 수리가 필요한지 결정할 수 있습니다. 객체 감지는 부품과 결함을 지역화할 수 있으며, 다운스트림 개념 기반 분류기는 감사 가능한 품질 결정을 제공합니다.

제한 사항 및 관련 개념#

개념 레이블은 추가적인 데이터 어노테이션 비용을 발생시키며 전문가 지식이 필요할 수 있습니다. 제대로 정의되지 않은 개념은 주관적이고, 상관관계가 있으며, 불완전하거나 입력에서 인식하기 어려울 수 있습니다. 팀은 정확한 라벨링 규칙을 만들고 어노테이터 간의 불일치를 감사해야 합니다.

다른 주요 위험으로는 개념 예측 오류, 보정되지 않은 점수, 그리고 연속적인 개념 값이 명시된 의미를 넘어서는 의도하지 않은 정보를 인코딩하는 **개념 누출(concept leakage)**이 있습니다. 확률 보정에 대한 지침은 개념 신뢰도 값이 신뢰할 수 있는지 판단하는 데 도움이 될 수 있습니다.

또한 CBM은 특성 공학(feature engineering)과 다릅니다. 공학적 특성은 수동으로 계산된 입력인 반면, 개념은 일반적으로 원시 데이터로부터 예측되고 명시적으로 감독됩니다. 이는 각 차원이 인간이 읽을 수 있어야 할 필요 없이 표현을 압축하는 정보 병목 원칙과도 다릅니다.

편향된 어노테이션이나 누락된 개념은 불평등한 오류를 유발할 수 있으므로 관련 데이터 슬라이스 전반에서 개념 성능을 확인해야 합니다. ML 편향 식별을 위한 Google의 지침 및 NIST AI RMF Core는 유용한 평가 및 거버넌스 관행을 제공합니다.

실용적인 비전 파이프라인 구축#

Ultralytics YOLO26 모델은 업스트림 시각적 개념 추출기 역할을 할 수 있습니다. 다음 예측 모드 워크플로는 감지된 객체 클래스를 후보 개념 신호로 수집합니다.

from ultralytics import YOLO

# Load a pretrained visual concept extractor
model = YOLO("yolo26n.pt")

# Run inference and select the first result
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detected classes into human-readable concept candidates
concepts = {result.names[int(class_id)] for class_id in result.boxes.cls}
print(sorted(concepts))

result.save(filename="concept_candidates.jpg")

이것은 완전한 CBM이 아닙니다. 다운스트림 모델은 선택된 개념만을 독점적으로 사용하여 최종 타겟을 예측하도록 여전히 훈련되어야 합니다. 팀은 Ultralytics Platform을 사용하여 시각 데이터를 어노테이션하고, 개념 추출기를 훈련하고, 실험을 비교하고, 배포된 컴포넌트를 모니터링할 수 있습니다. 구조화된 모델 평가 워크플로를 사용하여 개념 정확도, 타겟 정확도, 보정, 개입 동작 및 중요한 서브그룹을 각각 별도로 평가하세요.