YOLO 라이선스 받기
Ultralytics 용어집으로 돌아가기

Confidence Interval

신뢰 구간은 정확도 및 mAP와 같은 모델 메트릭의 표본 추출 불확실성을 수치화합니다. 95% 구간은 장기적인 커버리지를 나타냅니다.

신뢰 구간(CI)은 알 수 없는 모집단의 수량을 지정된 비율로 포착하도록 설계된 방법을 사용해 표본에서 계산한 범위입니다. 머신러닝에서 테스트 점수는 테스트 세트가 대표하는 유형의 입력에 대해 고정된 모델이 얼마나 잘 수행되는지를 추정합니다. 신뢰 구간은 유한한 표본을 바탕으로 해당 성능을 얼마나 정밀하게 추정했는지 보여줍니다.

95% 신뢰 구간의 의미#

테스트 데이터에서 비슷한 표본을 반복해서 추출하고 매번 같은 방식으로 구간을 계산할 경우, 95% 포함률을 갖는 절차는 장기적으로 100개 구간 중 약 95개에서 실제 지표를 포함합니다. 지표는 고정되어 있지만 구간의 경계는 표본마다 달라집니다. Jerzy Neyman은 1934년 표본 추출에 관한 논문에서 이 빈도주의 체계를 소개했습니다.

신뢰 수준이 높아지면 일반적으로 동일한 데이터에서 구간이 더 넓어집니다. 독립적인 관측치가 많아질수록 고정된 신뢰 수준에서 구간이 더 좁아지는 경향이 있습니다. 구간 너비는 표본 추출의 정밀도를 나타냅니다. 데이터셋 편향으로 인해 테스트 표본이 배포 환경을 대표하지 못하더라도 구간은 좁을 수 있습니다.

신뢰 구간 계산 방법#

표본 평균의 일반적인 공식은 추정값 ± 오차 한계이며, 오차 한계는 임계값에 표준 오차를 곱한 값입니다. 표준 오차는 반복해서 표본을 추출할 때 추정값이 얼마나 달라지는지를 나타냅니다. 동일한 모집단에서 얻은 독립 관측치의 경우, 평균의 추정 표준 오차는 표본 표준 편차를 표본 크기의 제곱근으로 나눈 값입니다. 양측 95% 정규 구간은 임계값 1.96을 사용하며 각 꼬리 영역은 2.5%입니다. 단일 표본 t 구간은 표본 크기에서 1을 뺀 자유도를 사용해 Student t 임계값을 적용합니다. 동일한 정규 모집단에서 얻은 독립 관측치의 경우 포함률이 정확합니다.

방법은 지표와 테스트 데이터의 표본 추출 방식에 따라 달라집니다.

  • 분류 정확도: 독립적인 이미지와 동일한 정답 분류 확률을 가정할 때, Wilson 점수 구간은 정답 예측 수와 테스트 세트 크기를 사용해 해당 확률을 추정합니다. 두 경계 모두 0%에서 100% 사이에 머뭅니다.
  • 평균 정밀도(mAP): 복원 추출로 테스트 단위를 다시 표본 추출하고 각 추출에서 mAP를 재계산해 전체 지표의 부트스트랩을 수행합니다. 95% 백분위수 구간은 점수 분포의 2.5번째 및 97.5번째 백분위수를 사용합니다. 이미지 수준 부트스트랩에서는 각 이미지의 예측값과 어노테이션을 함께 묶어 처리합니다.

계산 예시: 손글씨 숫자 분류 정확도#

scikit-learn 숫자 분류 예시는 번들에 포함된 숫자 이미지의 전반부로 서포트 벡터 머신을 학습시키고, 후반부로 평가합니다. 코드는 동일한 데이터 분할을 사용하고 SciPy의 이항 비율 API로 Wilson 구간을 계산합니다.

from scipy.stats import binomtest
from sklearn.datasets import load_digits
from sklearn.svm import SVC

X, y = load_digits(return_X_y=True)
split = len(y) // 2
model = SVC(gamma=0.001)
model.fit(X[:split], y[:split])
predictions = model.predict(X[split:])

correct = int((predictions == y[split:]).sum())
accuracy = binomtest(correct, len(y[split:]))
interval = accuracy.proportion_ci(confidence_level=0.95, method="wilson")
print(f"Accuracy: {accuracy.statistic:.1%} (95% CI: {interval.low:.1%}–{interval.high:.1%})")

분류기는 이미지 899개 중 871개를 올바르게 분류합니다. 독립 이미지 모델을 가정할 때 정확도는 96.9%이며 95% Wilson 구간은 95.5%–97.8%입니다. 번들에 포함된 이미지는 UCI 손글씨 숫자 테스트 세트에서 가져온 것으로, 13명의 작성자가 만든 이미지로 구성됩니다. 같은 작성자가 만든 이미지에는 유사한 필기 특성이 있을 수 있으므로 새로운 작성자에 대한 정확도를 추정하려면 이러한 그룹 구조를 고려해야 합니다.

신뢰 구간, 점수 및 예측값#

신뢰도 점수는 단일 예측에 대한 모델 출력값입니다. Ultralytics YOLO 예측 모드에서 conf는 탐지를 유지하기 위해 필요한 최소 점수를 설정합니다. 해당 임계값에서의 재현율 신뢰 구간은 테스트 표본에서 재현율 추정치의 불확실성을 정량화합니다.

예측 구간은 미래 관측값을 대상으로 합니다. 예를 들어 컨포멀 예측은 새 프레임의 깊이 추정값에 대해 KITTI의 픽셀별 예측 구간을 구성하는 데 사용된 바 있습니다.

컴퓨터 비전 모델 비교#

고정된 모델에 대한 구간은 테스트 세트 표본 추출의 불확실성을 측정합니다. 학습 파이프라인을 비교할 때는 무작위 초기화와 하이퍼파라미터 튜닝과 같은 요인으로 인한 변동도 고려해야 하며, 반복 학습을 통해 측정할 수 있습니다.

두 객체 탐지기를 동일한 테스트 세트에서 실행하는 경우, 쌍체 부트스트랩은 두 모델 모두에 동일한 단위를 추출하고 각 추출에서 mAP 차이를 계산합니다. 독립적으로 표본 추출된 정지 이미지는 한 번에 한 장씩 추출할 수 있습니다. 독립적으로 표본 추출된 동영상에 상관관계가 있는 프레임이 포함된 경우, 동영상 전체를 추출하면 프레임 간 종속성이 유지됩니다. 인접한 프레임을 독립적인 것으로 취급하면 구간이 지나치게 좁아질 수 있습니다. 쌍체 방식은 동일한 입력에서 얻은 결과 간 연관성을 보존하므로 두 개별 신뢰 구간이 겹치더라도 mAP 차이에 대한 구간은 0을 포함하지 않을 수 있습니다.

솔루션 살펴보기

스포츠 분야의 컴퓨터 비전

스포츠 분야의 컴퓨터 비전

Ultralytics YOLO가 선수 및 공 추적, 경기력 분석, 코칭 인사이트, 선수 재활을 통해 스포츠 비전을 구현하는 방법을 알아보세요.
자세히 알아보기
항공 이미지 컴퓨터 비전

항공 이미지 컴퓨터 비전

Ultralytics YOLO를 활용해 드론 및 항공 이미지를 농업, 양식업, 보전, 지리 공간 분석을 위한 실시간 인사이트로 전환하세요.
자세히 알아보기
항공우주 분야의 컴퓨터 비전

항공우주 분야의 컴퓨터 비전

Ultralytics YOLO를 활용해 항공기 검사, 활주로 FOD 감지, 공항 지상 운영, 복합재 결함 감지 등 항공우주 분야에 컴퓨터 비전을 적용하세요.
자세히 알아보기
보안 분야의 컴퓨터 비전

보안 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 모든 시설을 보호하세요. Vision AI는 경계 모니터링, 위협 감지, 번호판 인식, 작업장 안전을 지원합니다.
자세히 알아보기
로보틱스 분야의 컴퓨터 비전

로보틱스 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 더 스마트한 머신을 구현하세요. 로보틱스 분야의 Vision AI는 자율 주행, 인식, 객체 추적, 실시간 제어를 지원합니다.
자세히 알아보기
물류 분야의 컴퓨터 비전

물류 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 물류를 간소화하세요. 비전 AI는 화물 검사, 분류, 차량 추적, 실시간 창고 안전 모니터링을 지원합니다.
자세히 알아보기
리테일 분야의 컴퓨터 비전

리테일 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 리테일의 새로운 가능성을 열어 보세요. 비전 AI는 재고 추적, 선반 모니터링, 대기열 관리, 더욱 심층적인 고객 인사이트를 지원합니다.
자세히 알아보기
의료 분야의 컴퓨터 비전

의료 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 의료 솔루션을 구축하세요. 의료 분야의 비전 AI는 의료 영상 판독을 가속화하고, 진단을 개선하며, 환자 모니터링을 지원합니다.
자세히 알아보기
제조 분야의 컴퓨터 비전

제조 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 제조 공정을 최적화하세요. 비전 AI는 품질 관리, 결함 탐지, PPE 규정 준수, 조립 라인 자동화를 지원합니다.
자세히 알아보기
자동차 분야의 컴퓨터 비전

자동차 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 자동차 분야에 컴퓨터 비전을 적용하세요. 비전 AI는 도로 안전, 운전자 지원, 차량 자동화를 개선해 더 스마트한 도로를 구현합니다.
자세히 알아보기
농업 분야의 컴퓨터 비전

농업 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 스마트 농업에 비전 AI를 도입하세요. 작물 모니터링, 가축 추적, 정밀 농업을 지원하여 더 높은 수확량과 더 스마트한 농업을 실현합니다.
자세히 알아보기

함께 AI의 미래를 만들어 가세요!

머신러닝의 미래와 함께 여정을 시작하세요