Confidence

인공지능 및 머신러닝 분야에서 **신뢰도 점수(confidence score)**는 모델이 특정 예측에 대해 갖는 확실성의 수준을 수치화하는 지표입니다. 이 값은 일반적으로 0에서 1(또는 0%에서 100%) 사이의 범위를 가지며, 알고리즘의 출력 결과가 정답(ground truth)과 일치할 추정 확률을 나타냅니다. 예를 들어 객체 검출(object detection) 작업에서 시스템이 이미지의 특정 영역을 0.92의 신뢰도로 "자전거"라고 식별했다면, 이는 해당 분류가 정확할 것으로 추정되는 확률이 92%임을 시사합니다. 이러한 점수는 신경망(neural network)의 최종 레이어에서 도출되며, 다중 클래스 분류의 경우 Softmax와 같은 활성화 함수(activation function)를 통해, 이진 결정의 경우 Sigmoid function을 통해 처리되는 경우가 많습니다.

추론에서의 신뢰도의 역할#

신뢰도 점수는 추론 엔진(inference engine) 워크플로의 핵심 구성 요소로, 고품질 예측을 배경 노이즈와 구분하는 필터 역할을 합니다. 임계값 설정(thresholding)으로 알려진 이 필터링 프로세스를 통해 개발자는 애플리케이션의 민감도를 조정할 수 있습니다. 최소 신뢰도 임계값을 설정함으로써 중요한 정밀도-재현율 트레이드오프(precision-recall trade-off)를 관리할 수 있습니다. 임계값을 낮추면 더 많은 객체를 검출할 수 있지만 위양성(false positives)의 위험이 커지는 반면, 임계값을 높이면 정밀도는 향상되지만 미세한 인스턴스를 놓치게 될 수 있습니다.

Ultralytics YOLO26과 같은 고급 아키텍처에서는 최대값 비억제(NMS)와 같은 후처리 기법에 신뢰도 점수가 필수적입니다. NMS는 이러한 점수를 활용하여 크게 겹치는 중복 바운딩 박스를 제거하고 가장 높은 확률을 가진 검출 결과만 유지합니다. 이 단계를 통해 최종 출력 결과가 깔끔하게 유지되며 객체 카운팅(object counting) 또는 추적과 같은 후속 작업을 수행할 준비가 됩니다.

다음 Python 예제는 ultralytics 패키지를 사용하여 신뢰도별로 예측을 필터링하는 방법을 보여줍니다.

from ultralytics import YOLO

# Load the latest YOLO26n model
model = YOLO("yolo26n.pt")

# Run inference with a confidence threshold of 0.5 (50%)
# Only detections with a score above this value are returned
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.5)

# Inspect the confidence scores of the detected objects
for box in results[0].boxes:
    print(f"Class: {box.cls}, Confidence: {box.conf.item():.2f}")

실제 애플리케이션 사례#

신뢰도 점수는 컴퓨터 비전(CV)이 적용되는 산업 전반에서 없어서는 안 될 해석 가능성 레이어를 제공합니다. 이를 통해 자동화 시스템은 언제 자율적으로 진행하고 언제 사람이 검토하도록 경고를 트리거할지 결정할 수 있습니다.

• 자율주행: 자동차 분야의 AI 부문에서 자율주행 차량은 승객의 안전을 보장하기 위해 신뢰도 지표에 의존합니다. 인식 시스템이 낮은 신뢰도로 장애물을 검출한 경우, 긴급 기동을 실행하기 전에 이 데이터를 LiDAR 센서 또는 레이더와 교차 참조하여 객체의 존재 여부를 확인할 수 있습니다. 이러한 이중화는 그림자나 눈부심으로 인해 발생하는 "유령 제동(phantom braking)"을 방지하는 데 도움이 됩니다.
• 의료 진단: 의료 분야의 AI를 활용할 때, 모델은 이미징 데이터의 잠재적 이상 징후를 표시하여 의료 전문가를 지원합니다. 종양 검출을 위해 구축된 시스템은 즉시 진단할 수 있도록 높은 신뢰도의 영역을 강조 표시할 수 있으며, 낮은 신뢰도의 예측은 2차 분석을 위해 기록됩니다. 이 휴먼인더루프(human-in-the-loop) 워크플로는 AI가 전문가의 판단을 대체하지 않고 임상적 의사결정을 보완하도록 보장합니다.
• 산업 자동화: 스마트 팩토리(smart manufacturing)에서 로봇 팔은 신뢰도 점수를 사용하여 조립 라인의 객체와 상호 작용합니다. 비전 AI가 탑재된 로봇은 검출 신뢰도가 90%를 초과하는 경우에만 부품을 집으려고 시도할 수 있으며, 이를 통해 정렬 불량으로 인해 섬세한 부품이 손상될 위험을 줄일 수 있습니다.

신뢰도와 관련 용어의 구분#

모델 평가에 사용되는 다른 통계적 지표와 신뢰도를 구분하는 것이 중요합니다.

• 신뢰도 대 정확도: 정확도(accuracy)는 전체 데이터셋에서 모델이 얼마나 자주 올바른지(예: "모델의 정확도는 92%입니다")를 설명하는 전역 지표입니다. 이와 대조적으로 신뢰도는 로컬 예측별 값(예: "모델은 이 특정 이미지에 고양이가 포함되어 있다고 92% 확신합니다")입니다. 모델의 전체적인 정확도가 높더라도 엣지 케이스(edge cases)에서는 여전히 낮은 신뢰도를 산출할 수 있습니다.
• 신뢰도 대 확률 보정: 원시 신뢰도 점수가 항상 실제 정답 확률(probability of correctness)과 일치하는 것은 아닙니다. 0.8의 신뢰도로 이루어진 예측이 약 80%의 확률로 정확하다면 해당 모델은 "잘 보정(well-calibrated)되었다"고 합니다. 점수를 경험적 확률에 맞추기 위해 플랫 스케일링(Platt scaling) 또는 등토닉 회귀(Isotonic Regression) 같은 기법이 자주 사용됩니다.
• 신뢰도 대 정밀도: 정밀도(precision)는 양성으로 식별된 항목 중 실제로 정확했던 비율을 측정합니다. 일반적으로 신뢰도 임계값을 높이면 정밀도가 향상되지만, 재현율(recall)이 희생되는 경우가 많습니다. 개발자는 애플리케이션이 누락되는 객체를 줄이는 것과 오알람(false alarm)을 최소화하는 것 중 무엇을 우선시하느냐에 따라 이 임계값을 튜닝해야 합니다.

모델 신뢰도 향상#

모델이 유효한 객체에 대해 지속적으로 낮은 신뢰도를 출력하는 경우, 이는 학습 데이터(training data)와 배포 환경 간의 불일치를 시사하는 경우가 많습니다. 이를 완화하기 위한 전략에는 조명, 회전, 노이즈를 다변화하여 데이터셋을 인위적으로 확장하는 데이터 augmentation이 포함됩니다. 또한 Ultralytics Platform을 사용하여 능동 학습(active learning) 파이프라인을 구현하면 개발자는 신뢰도가 낮은 샘플을 쉽게 식별하고, 주석을 달고, 모델을 재학습할 수 있습니다. 이 반복적인 주기는 동적이고 실제적인 환경에서 안정적으로 작동할 수 있는 강력한 AI 에이전트(AI agents)를 만드는 데 필수적입니다.