Concept Bottleneck Models

개념 병목 모델(CBMs)은 사람이 이해할 수 있는 개념의 중간 계층을 통해 예측을 수행하는 신경망입니다. 입력을 최종 레이블에 직접 매핑하는 대신, CBM은 먼저 “빨간 날개”, “표면 균열”, “관절 간격 협소화”와 같은 의미 있는 속성을 예측한 다음 해당 속성만 사용하여 결정을 내립니다. 이러한 구조를 통해 기존의 블랙박스 모델보다 모델을 더 쉽게 검사하고, 디버깅하며, 수정할 수 있습니다.

개념 병목 모델의 작동 방식#

표준 신경망은 정보를 불투명한 잠재 공간에 표현하는 경우가 많습니다. CBM은 이러한 은닉 표현의 일부를 각 차원의 의미가 정의된 개념 벡터로 대체합니다.

예측 파이프라인은 두 가지 주요 단계로 구성됩니다.

1. 개념 예측기는 이미지와 같은 원시 입력을 개념 값으로 매핑합니다.
2. 대상 예측기는 이러한 개념 값을 최종 클래스 또는 점수로 매핑합니다.

예를 들어 새 분류기는 종을 식별하기 전에 “검은 부리”, “흰 가슴”, “긴 꼬리”를 예측할 수 있습니다. 개념은 이진형, 범주형 또는 연속형일 수 있습니다. 개념은 일반적으로 지도 학습을 통해 학습되며, 각 학습 예제에 대상 레이블과 개념 어노테이션이 모두 포함되어야 합니다.

두 단계는 독립적으로, 순차적으로 또는 공동으로 학습할 수 있습니다. 독립 학습은 분리를 명확하게 만들고, 공동 학습은 개념의 품질과 최종 작업 성능 사이의 균형을 조정할 수 있습니다. 어떤 경우에도 병목은 대상 예측기가 선언된 개념만 사용하도록 제한해야 합니다. 그렇지 않으면 은닉 정보가 의도한 설명을 우회할 수 있습니다.

해석 가능성과 개입이 중요한 이유#

CBM은 내재적 설명 가능한 AI의 한 형태입니다. 해석 가능한 구조가 나중에 추가되는 것이 아니라 예측 과정에 내장되어 있기 때문입니다. 이는 이미 학습된 블랙박스에 어떤 요소가 영향을 미쳤는지 추정하는 살리언시 맵과 같은 사후 분석 도구와는 다릅니다.

개념 계층은 다음과 같은 여러 유용한 상호작용을 지원합니다.

• 사용자는 어떤 개념이 결정을 유발했는지 확인할 수 있습니다.
• 도메인 전문가는 부정확한 개념을 수정하고 출력을 다시 계산할 수 있습니다.
• 개발자는 대상 예측기가 유효한 도메인 논리를 따르는지 테스트할 수 있습니다.
• 팀은 최종 작업 정확도와 별도로 개념 정확도를 측정할 수 있습니다.

이러한 기능은 설명 가능한 AI에 관한 NIST 지침 및 People + AI Guidebook에서 논의하는 인간 중심 제어 방식과 일치합니다. 그러나 이해하기 쉬운 설명이 자동으로 올바른 설명이 되는 것은 아닙니다. 개념 충실도는 가정하지 말고 평가해야 합니다.

실제 적용 사례#

• 의료 영상 분석: X선을 분석하는 모델은 질병의 중증도를 등급화하기 전에 골극, 관절 간격 협소화, 경화와 같은 개념을 추정할 수 있습니다. 임상의는 중증도 점수만 받는 대신 이러한 중간 결과를 검토하거나 수정할 수 있습니다. 이러한 인간-모델 상호작용은 머신러닝 의료기기에 대한 FDA 투명성 원칙과 특히 관련이 있습니다.

• 제조 시각 검사: 비전 시스템은 부품 누락, 균열, 변색 또는 잘못된 정렬과 같은 개념을 식별한 다음, 이를 사용하여 제품이 검사를 통과하는지 또는 특정 수리가 필요한지 결정할 수 있습니다. 객체 탐지는 부품과 결함의 위치를 파악할 수 있으며, 이후 단계의 개념 기반 분류기는 감사 가능한 품질 결정을 제공합니다.

제한 사항 및 관련 개념#

개념 레이블을 생성하려면 추가적인 데이터 어노테이션 비용이 발생하며 전문 지식이 필요할 수 있습니다. 잘 정의되지 않은 개념은 주관적이거나, 서로 상관되어 있거나, 불완전하거나, 입력에서 인식하기 어려울 수 있습니다. 팀은 정확한 레이블링 규칙을 마련하고 어노테이터 간 불일치를 감사해야 합니다.

그 밖의 중요한 위험으로는 개념 예측 오류, 보정되지 않은 점수, 그리고 연속적인 개념 값이 명시된 의미를 넘어 의도하지 않은 정보를 인코딩하는 개념 누출이 있습니다. 확률 보정에 관한 지침은 개념 신뢰도 값이 신뢰할 수 있는지 판단하는 데 도움이 될 수 있습니다.

CBM은 피처 엔지니어링과도 다릅니다. 엔지니어링된 피처는 수동으로 계산된 입력인 반면, 개념은 일반적으로 원시 데이터에서 예측되고 명시적으로 지도되기 때문입니다. 또한 각 차원이 사람이 이해할 수 있어야 한다는 요구 없이 표현을 압축하는 정보 병목 원리와도 동일하지 않습니다.

편향된 어노테이션이나 누락된 개념으로 인해 오류가 불균등하게 발생할 수 있으므로, 관련 데이터 슬라이스 전반에서 개념 성능을 확인해야 합니다. ML 편향 식별에 관한 Google 지침과 NIST AI RMF Core는 유용한 평가 및 거버넌스 관행을 제공합니다.

실용적인 비전 파이프라인 구축#

Ultralytics YOLO26 모델은 상위 단계의 시각적 개념 추출기 역할을 할 수 있습니다. 다음 Predict 모드 워크플로는 탐지된 객체 클래스를 후보 개념 신호로 수집합니다.

from ultralytics import YOLO

# Load a pretrained visual concept extractor
model = YOLO("yolo26n.pt")

# Run inference and select the first result
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detected classes into human-readable concept candidates
concepts = {result.names[int(class_id)] for class_id in result.boxes.cls}
print(sorted(concepts))

result.save(filename="concept_candidates.jpg")

이는 완전한 CBM이 아닙니다. 다운스트림 모델을 추가로 학습하여 선택한 개념만으로 최종 대상을 예측해야 합니다. 팀은 Ultralytics 플랫폼을 사용하여 시각 데이터를 어노테이션하고, 개념 추출기를 학습하며, 실험을 비교하고, 배포된 구성 요소를 모니터링할 수 있습니다. 구조화된 모델 평가 워크플로를 사용하여 개념 정확도, 대상 정확도, 보정, 개입 동작 및 주요 하위 그룹을 별도로 평가해야 합니다.