Conformal Prediction

Conformal prediction은 machine learning (ML)의 통계적 프레임워크로, 모델 예측에 대해 distribution-free measures of uncertainty를 제공합니다. 단일 클래스 레이블과 같은 단일 포인트 예측을 출력하는 대신, conformal predictor는 사용자가 지정한 확률(예: 90% 또는 95%)로 참값을 포함하는 예측 세트 또는 구간을 출력합니다. 이 프레임워크는 모델의 아키텍처를 변경할 필요 없이 모든 artificial intelligence (AI) 모델을 감싸서 형식적인 statistical guarantees를 제공합니다. 최신 도구와 연구에 대한 전체 목록은 Awesome Conformal Prediction 저장소에서 확인할 수 있습니다.

등각 예측의 작동 원리#

기본 메커니즘은 비적합성 점수(nonconformity score)를 사용하여 새로운 예측이 과거 예제와 비교하여 얼마나 특이한지를 평가하는 것에 의존합니다.

• Model Training: 먼저 표준 학습 데이터셋을 사용하여 기준 모델을 학습시킵니다.
• Calibration Phase: 분리된 보류(held-out) 보정 데이터셋을 학습된 모델에 통과시킵니다. image classification에서의 역확률과 같이 각 예측에 대한 비부합성(nonconformity) 점수를 계산합니다.
• Quantile Calculation: 목표 신뢰 수준(예: 95%)을 결정하고 예측 세트를 구성하기 위해 이러한 보정 점수의 해당 분위수(quantile)를 찾습니다.
• Inference Application: 실시간 추론 중에 새로운 입력을 평가하고 점수가 보정 분위수 미만인 모든 가능한 레이블을 포함합니다.

A Gentle Introduction to Conformal Prediction 튜토리얼에서 이 접근 방식의 수학적 증명을 탐색하거나, 시간적 불확실성을 처리하기 위한 time-series forecasting approaches에 대해 알아볼 수 있습니다.

등각 예측과 관련 용어의 차이점#

model testing 중에 사용되는 표준 메트릭과 이 프레임워크를 구별하는 것이 중요합니다:

• Conformal Prediction vs. Confidence Scores: 표준 신뢰도 점수는 모델의 내부 확신을 반영하지만 종종 보정이 잘 되지 않으며 수학적 보장이 부족합니다. Conformal prediction은 이러한 원시 점수를 보장된 세트로 변환합니다. 전통적인 조정에 대해서는 scikit-learn's probability calibration을 참조하십시오.
• Conformal Prediction vs. Accuracy: 정확도는 전체 데이터셋에서 모델이 얼마나 자주 정답을 맞히는지 나타내는 전역적 과거 메트릭인 반면, conformal inference는 모든 단일 새 예측에 대해 로컬의 인스턴스별 구간을 제공합니다.

실제 애플리케이션 사례#

등각 예측은 모델의 맹점을 아는 것이 중요한 고위험 분야에서 필수적입니다.

• Medical Diagnostics: 의료 분야에서 스캔을 분석하기 위해 AI를 활용할 때, 모델은 잠재적으로 잘못된 단일 클래스 대신 타당한 진단 세트를 출력할 수 있습니다. 이를 통해 임상의는 모든 가능한 가능성을 조사할 수 있으며, reliable genomic medicine and imaging에 대한 최근 연구를 뒷받침합니다.
• Autonomous Driving: 자동차 시스템의 AI에서 object detection에 예측 구간을 적용하면 보행자 주변에 공간적 신뢰 영역이 생성되어 차량의 제동 시스템이 최악의 상황에서의 움직임을 안전하게 고려할 수 있습니다.

예측 세트 구현#

MAPIE (Model Agnostic Prediction Interval Estimator)와 같은 라이브러리는 Python용 내장 도구를 제공하며, 회귀 작업은 종종 conformal quantile regression을 활용합니다. Ultralytics YOLO26과 같은 고급 모델의 확률을 사용하여 기본적인 conformal prediction 로직을 구현할 수도 있습니다. 다음 예제는 누적 임계값에 도달할 때까지 상위 클래스를 포함하는 로직을 모방하여 YOLO26 분류 확률을 사용하여 예측 세트를 구축합니다.

from ultralytics import YOLO

# Load an Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Perform inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Simple conformal-style prediction set logic based on cumulative probability
target_coverage = 0.95
prediction_set = []
cumulative_prob = 0.0

# Sort probabilities in descending order using the results object
probs = results[0].probs
sorted_indices = probs.top5

for idx in sorted_indices:
    class_name = results[0].names[idx]
    class_prob = probs.data[idx].item()

    prediction_set.append((class_name, round(class_prob, 3)))
    cumulative_prob += class_prob

    # Stop adding to the set once we reach the 95% coverage threshold
    if cumulative_prob >= target_coverage:
        break

print(f"95% Prediction Set: {prediction_set}")

신뢰할 수 있는 시스템을 개발하려면 data drift가 보정을 망가뜨리는 것을 방지하기 위해 강력한 데이터 관행이 필요합니다. Ultralytics Platform과 같은 도구는 최신 classification datasets 수집, 모델 재학습, 그리고 안전한 model deployment 관리 프로세스를 단순화합니다. understanding dataset bias에 대한 가이드에서 균형 잡힌 데이터 큐레이션에 대해 더 읽어보거나, 연례 COPA conference에서 발표된 최신 발전 사항을 추적할 수 있습니다.