Confidence

In the realm of artificial intelligence and machine learning, a confidence score is a metric that quantifies the level of certainty a model has regarding a specific prediction. This value typically ranges from 0 to 1 (or 0% to 100%) and represents the estimated probability that the algorithm's output aligns with the ground truth. For instance, in an object detection task, if a system identifies a region of an image as a "bicycle" with a confidence of 0.92, it suggests a 92% estimated likelihood that the classification is correct. These scores are derived from the final layer of a neural network, often processed through an activation function such as Softmax for multi-class categorization or the Sigmoid function for binary decisions.

Link to this section추론에서의 신뢰도의 역할#

신뢰도 점수는 추론 엔진(inference engine) 워크플로의 핵심 구성 요소로, 고품질 예측과 배경 노이즈를 구분하는 필터 역할을 합니다. 임계값 설정(thresholding)이라고 알려진 이 필터링 과정을 통해 개발자는 애플리케이션의 민감도를 조정할 수 있습니다. 최소 신뢰도 임계값을 설정함으로써 중요한 정밀도-재현율 상충 관계(precision-recall trade-off)를 관리할 수 있습니다. 임계값이 낮으면 더 많은 객체를 탐지할 수 있지만 오탐(false positive)의 위험이 커지며, 임계값이 높으면 정밀도는 향상되지만 미묘한 인스턴스를 놓칠 수 있습니다.

Ultralytics YOLO26과 같은 고급 아키텍처에서 신뢰도 점수는 비최대 억제(NMS, Non-Maximum Suppression)와 같은 후처리 기술에 필수적입니다. NMS는 이러한 점수를 사용하여 중복되는 경계 상자(bounding box)를 제거하고 가장 높은 확률을 가진 탐지 결과만 보존합니다. 이 단계를 통해 최종 결과물이 깔끔하게 정리되어 객체 계수(object counting)나 추적과 같은 후속 작업에 바로 활용될 수 있습니다.

다음 Python 예제는 ultralytics 패키지를 사용하여 신뢰도에 따라 예측을 필터링하는 방법을 보여줍니다:

from ultralytics import YOLO

# Load the latest YOLO26n model
model = YOLO("yolo26n.pt")

# Run inference with a confidence threshold of 0.5 (50%)
# Only detections with a score above this value are returned
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.5)

# Inspect the confidence scores of the detected objects
for box in results[0].boxes:
    print(f"Class: {box.cls}, Confidence: {box.conf.item():.2f}")

Link to this section실제 애플리케이션 사례#

신뢰도 점수는 컴퓨터 비전(CV)이 적용되는 모든 산업 분야에서 없어서는 안 될 해석 가능성을 제공합니다. 이는 자동화 시스템이 언제 자율적으로 작업을 진행하고, 언제 사람이 검토하도록 알림을 보낼지 결정하는 데 도움을 줍니다.

• 자율 주행: 자동차 분야의 AI(AI in automotive) 섹터에서 자율 주행 차량은 승객 안전을 보장하기 위해 신뢰도 지표에 의존합니다. 인식 시스템이 낮은 신뢰도로 장애물을 탐지하면, 긴급 기동을 실행하기 전에 LiDAR 센서나 레이더와 같은 데이터와 교차 검증하여 객체의 존재 여부를 확인합니다. 이러한 중복성은 그림자나 눈부심으로 인한 "유령 제동(phantom braking)"을 방지하는 데 도움을 줍니다.
• 의료 진단: 헬스케어 분야의 AI(AI in healthcare)를 활용할 때, 모델은 영상 데이터 내의 잠재적 이상 징후를 표시하여 의료 전문가를 지원합니다. 종양 탐지(tumor detection)을 위해 구축된 시스템은 즉각적인 진단을 위해 높은 신뢰도를 가진 영역을 강조 표시할 수 있으며, 낮은 신뢰도의 예측은 2차 분석을 위해 기록됩니다. 이러한 인간 참여형(human-in-the-loop) 워크플로는 전문가의 판단을 대체하지 않으면서 AI가 임상 의사결정을 보강하도록 보장합니다.
• 산업 자동화: 스마트 제조(smart manufacturing)에서 로봇 팔은 조립 라인의 객체와 상호작용하기 위해 신뢰도 점수를 사용합니다. 비전 AI(vision AI)를 탑재한 로봇은 탐지 신뢰도가 90%를 초과하는 경우에만 부품을 잡으려 시도함으로써, 잘못된 정렬로 인해 섬세한 부품이 손상될 위험을 줄일 수 있습니다.

Link to this section신뢰도와 관련 용어의 구분#

모델 평가(model evaluation)에 사용되는 다른 통계 지표와 신뢰도를 구분하는 것은 매우 중요합니다.

• 신뢰도 vs 정확도: 정확도(Accuracy)는 전체 데이터셋에서 모델이 얼마나 자주 정답을 맞히는지 나타내는 전역 지표입니다(예: "모델의 정확도는 92%입니다"). 반면, 신뢰도는 예측별로 산출되는 로컬 값입니다(예: "모델은 이 특정 이미지에 고양이가 있을 확률을 92%로 확신합니다"). 모델의 전반적인 정확도가 높더라도 엣지 케이스(edge cases)에 대해서는 낮은 신뢰도를 보일 수 있습니다.
• 신뢰도 vs 확률 보정(Probability Calibration): 원시 신뢰도 점수가 항상 실제 정확도 확률(probability of correctness)과 일치하는 것은 아닙니다. 모델이 "잘 보정(well-calibrated)"되었다는 것은 0.8의 신뢰도로 예측했을 때 실제로 약 80%의 확률로 정답임을 의미합니다. 점수를 경험적 확률과 일치시키기 위해 플랫 스케일링(Platt scaling)이나 등장성 회귀(Isotonic Regression)와 같은 기술이 종종 사용됩니다.
• 신뢰도 vs 정밀도: 정밀도(Precision)는 양성으로 식별된 결과 중 실제로 정답인 비율을 측정합니다. 일반적으로 신뢰도 임계값을 높이면 정밀도는 향상되지만, 종종 재현율(recall)이 희생됩니다. 개발자는 애플리케이션이 객체를 놓치지 않는 것을 우선시하는지, 오탐을 최소화하는 것을 우선시하는지에 따라 이 임계값을 조정해야 합니다.

Link to this section모델 신뢰도 향상#

모델이 유효한 객체에 대해 일관되게 낮은 신뢰도를 출력한다면, 이는 학습 데이터(training data)와 배포 환경 간의 불일치를 나타내는 경우가 많습니다. 이를 완화하기 위한 전략으로 조명, 회전, 노이즈를 변경하여 데이터셋을 인위적으로 확장하는 데이터 증강(data augmentation)이 있습니다. 또한 Ultralytics Platform을 사용하여 능동 학습(active learning) 파이프라인을 구현하면 개발자가 낮은 신뢰도의 샘플을 쉽게 식별하고, 주석을 달고, 모델을 재학습할 수 있습니다. 이 반복적인 주기는 역동적인 실제 환경에서 안정적으로 작동할 수 있는 강력한 AI 에이전트(AI agents)를 만드는 데 필수적입니다.