Uncertainty Quantification

불확실성 정량화(UQ)는 AI 또는 머신러닝 모델이 예측에 대해 얼마나 불확실한지를 추정하고, 평가하며, 전달하는 과정입니다. UQ 워크플로는 레이블, 값 또는 바운딩 박스만 반환하는 대신 확률 분포, 예측 구간, 신뢰도 점수 또는 예측 집합과 같은 추가 정보를 제공합니다. 이를 통해 사용자는 모델이 무엇을 예측하는지뿐만 아니라 해당 예측을 얼마나 신뢰해야 하는지도 이해할 수 있습니다.

불확실성 정량화가 중요한 이유#

모델은 제한된 데이터에서 패턴을 학습하므로 출력이 완전히 확실할 수는 없습니다. 입력에는 노이즈가 포함될 수 있고, 레이블은 모호할 수 있으며, 운영 데이터는 학습 분포와 다를 수 있습니다. UQ는 이러한 한계를 측정 가능하게 하고, 더 안전한 의사 결정과 사람의 검토 및 향상된 데이터 수집을 지원합니다.

이 개념은 NIST의 가상 측정 프로그램에 설명된 모델 품질 특성화라는 더 광범위한 목표로 확장됩니다. AI 시스템에서 불확실성 추정은 다음과 같은 작업에 도움이 될 수 있습니다.

• 불확실성이 허용 가능한 수준을 초과할 때 예측을 거부하거나 검토합니다.
• 단일 답변에 의존하지 않고 여러 대안 예측을 비교합니다.
• 익숙하지 않은 입력과 가능한 데이터 드리프트를 식별합니다.
• 액티브 러닝을 통해 불확실한 샘플의 라벨링 우선순위를 지정합니다.
• Department of Energy의 계산 모델의 불확실성 개요에서 설명한 것처럼 불확실성을 후속 계산과 의사 결정에 전파합니다.

예측 오류의 결과가 서로 다를 때 UQ는 특히 중요합니다. 보행자를 놓치는 것은 도로변 표지판을 잘못 감지하는 것보다 심각하므로, 허용 가능한 불확실성 임계값은 애플리케이션에 따라 달라집니다.

우연적 불확실성과 인식론적 불확실성#

예측 불확실성이 발생하는 원인은 두 가지 범주로 설명할 수 있습니다.

• 우연적 불확실성은 aleatory uncertainty라고도 하며, 데이터에 내재된 무작위성 또는 모호성에서 비롯됩니다. 모션 블러, 센서 노이즈, 부분적인 가림 및 일관되지 않은 레이블은 잘 훈련된 모델에서도 이미지를 해석하기 어렵게 만들 수 있습니다. 더 많은 학습 데이터가 이러한 불확실성을 추정하는 데 도움이 될 수 있지만, 근본적인 모호성을 완전히 제거할 수는 없습니다.
• 인식론적 불확실성은 모델 지식의 불완전성에서 비롯됩니다. 학습 데이터가 충분하지 않거나 대표성이 부족하거나 중요한 상황을 포함하지 않을 때 자주 나타납니다. 관련 예시를 수집하고, 어노테이션을 개선하거나, 모델을 변경하면 대개 이를 줄일 수 있습니다.

UQ는 이러한 원인에 대한 정보를 유용한 출력으로 결합합니다. TensorFlow Probability와 같은 확률 모델링 도구는 예측을 분포로 나타낼 수 있으며, 앙상블 방법은 여러 모델 또는 학습 실행 결과를 비교하여 불확실성을 추정합니다. 의견 차이가 클수록 일반적으로 인식론적 불확실성이 더 크다는 것을 의미합니다.

불확실성은 신뢰도 점수와 관련이 있지만, 그보다 더 광범위한 개념입니다. 신뢰도는 하나의 예측이 갖는 확신의 정도를 나타내는 반면, UQ는 해당 점수가 신뢰할 수 있는지와 어떤 불확실성 요인이 영향을 미치는지를 평가합니다. 마찬가지로 컨포멀 예측은 정의된 가정하에서 목표 커버리지를 충족하는 예측 집합 또는 구간을 생성하는 특정 기법입니다.

방법 및 평가#

일반적인 UQ 접근 방식에는 확률적 출력, 앙상블, 반복 샘플링, 베이지안 모델링 및 예측 구간이 포함됩니다. 부트스트랩 신뢰 구간은 관측된 데이터를 반복적으로 재샘플링하여 변동성을 추정합니다. 분류에서 캘리브레이션은 약 80%의 확률이 할당된 예측이 실제로 약 80%의 비율로 맞는지를 확인합니다.

모델은 정확하지만 캘리브레이션이 제대로 이루어지지 않을 수 있으므로, 팀은 태스크 성능과 불확실성 품질을 모두 평가해야 합니다. 확률 캘리브레이션 도구는 신뢰도 다이어그램과 캘리브레이션 기법을 사용하여 예측 확률을 관측 결과와 비교합니다. Google의 머신러닝 규칙에서도 해석 가능하고 모니터링되는 확률적 예측을 강조합니다.

유용한 평가 기준에는 커버리지, 구간 너비, 캘리브레이션 오류 및 어려운 데이터 슬라이스에서의 성능이 포함됩니다. 컴퓨터 비전의 경우 Ultralytics 검증 모드와 YOLO 성능 메트릭 가이드를 통해 클래스와 임계값 전반에서 정밀도, 재현율, 혼동 행렬 및 신뢰도 동작을 살펴볼 수 있습니다.

실제 적용 사례#

• 의료 이미지 분석: 여러 가능한 소견의 점수가 비슷하거나 이미지가 학습 데이터와 다를 때 진단 모델은 전문의의 검토를 위해 스캔에 플래그를 지정할 수 있습니다. 이러한 에스컬레이션이 없으면 과도한 확신을 가진 잘못된 예측으로 인해 치료가 지연될 수 있습니다.
• 제조 시각 검사: 결함 감지기는 눈부심, 새로운 재료 또는 이전에 관찰되지 않은 손상을 마주할 수 있습니다. 불확실성을 고려한 라우팅은 모호한 제품을 자동으로 통과 또는 거부하는 대신 수동 검사로 보낼 수 있어, 누락되는 결함과 불필요한 폐기물을 모두 줄입니다.

이러한 정책은 모델 불확실성을 운영 위험과 연결합니다. NIST AI 위험 관리 프레임워크 핵심은 불확실성을 측정하고, 일반화 한계를 문서화하며, 배포 전반에서 시스템을 모니터링할 것을 권장합니다.

Ultralytics YOLO 워크플로의 불확실성#

Ultralytics YOLO26은 문서화된 Predict 모드를 통해 감지 신뢰도 점수를 제공합니다.

from ultralytics import YOLO

# Load an official detection model
model = YOLO("yolo26n.pt")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Inspect each detection's confidence
for box in result.boxes:
    class_id = int(box.cls.item())
    class_name = result.names[class_id]
    confidence = box.conf.item()
    print(f"{class_name}: {confidence:.3f}")

이 워크플로는 불확실성과 관련된 유용한 신호를 제공하지만, 신뢰도만으로는 완전한 UQ가 아니며 캘리브레이션된 확률로 자동 해석해서는 안 됩니다. 대표성을 갖는 홀드아웃 데이터에서 점수를 검증하고, 오류 비용을 기준으로 임계값을 선택하며, 배포 후 신뢰도 분포를 모니터링해야 합니다.

팀은 Ultralytics Platform을 사용하여 데이터셋에 어노테이션을 추가하고, 모델을 학습 및 배포하며, 엔드포인트를 모니터링할 수 있습니다. 지속적인 모델 모니터링 및 유지 관리와 결합하면 불확실성 신호를 통해 익숙하지 않은 조건을 파악하고, 사람의 검토를 유도하며, 새로운 데이터 또는 재학습이 필요한 시점을 식별할 수 있습니다.