Benchmark Dataset

벤치마크 데이터셋은 연구 커뮤니티가 동일한 조건에서 같은 작업의 모델을 비교하는 데 사용하는, 사전 정의된 분할과 공식 평가 지표를 갖춘 고정된 공개 데이터셋입니다. 결과는 ImageNet의 톱-1 정확도나 COCO val2017의 mAP_50-95처럼 지표별 단일 숫자로 보고됩니다. 모두가 같은 이미지, 라벨, 점수 산정 코드, 규칙을 사용하기 때문에 논문 간 수치를 비교할 수 있습니다. 벤치마크는 머신러닝(ML)의 진척도를 추적하고, 어떤 방법이 채택되는지 결정하며, 논문과 모델 카드에 핵심 수치를 제공합니다.

벤치마크가 정의하는 항목#

벤치마크는 두 점수를 비교할 수 없게 만드는 모든 요소를 고정합니다.

• 데이터 및 분할: 정확한 학습, 검증, 테스트 이미지를 지정하여 더 쉬운 하위 집합으로 평가하지 못하게 합니다.
• 작업 및 라벨 집합: 모델이 출력해야 하는 항목을 정의합니다. 예를 들어 1,000개 클래스 중 하나를 출력하거나, 객체 범주 80개 각각에 대해 박스와 클래스를 출력하도록 합니다.
• 지표 및 점수 산정 코드: IoU 임계값 0.50~0.95의 10개 구간에서 정밀도를 평균하는 COCO 평가처럼 공식 구현을 지정합니다.
• 규칙: 추가 학습 데이터, 테스트 시점 증강, 모델 앙상블 허용 여부와 같이 유효한 제출로 인정되는 조건을 정의합니다.

많은 벤치마크는 팀이 테스트 세트에 맞춰 조정하는 일을 막기 위해 테스트 라벨을 비공개로 유지합니다. 참가자는 공개 분할 데이터로 학습하고 테스트 이미지의 예측을 업로드합니다. 평가 서버가 숨겨진 라벨을 기준으로 점수를 산출한 후 리더보드에 결과를 게시합니다. ImageNet처럼 테스트 라벨을 공개하지 않는 경우 논문은 대신 공개 검증 분할의 결과를 보고합니다.

대표적인 벤치마크 데이터셋#

• 이미지 분류: 톱-1 및 톱-5 정확도로 평가하는 ImageNet-1k와 소규모 실험에 사용하는 CIFAR-10 및 CIFAR-100이 있습니다.
• 객체 탐지 및 세그멘테이션: 주요 지표로 평균 정밀도(mAP)를 사용하며 카테고리 80개가 있는 COCO, 카테고리 20개가 있는 Pascal VOC, 롱테일 인식을 위한 카테고리 1,203개가 있는 LVIS가 있습니다.
• 자율주행: 실제 교통 상황을 촬영한 카메라 및 라이다 기록을 제공하는 KITTI와 Waymo Open Dataset이 있습니다.
• 언어 및 추론: GPQA의 대학원 수준 과학 문제, Humanity's Last Exam의 여러 분야 전문 문제, LiveCodeBench의 코딩 문제가 있습니다.

Ultralytics는 640픽셀 입력 크기에서 5,000개 이미지로 구성된 COCO val2017 분할을 기준으로 YOLO26의 객체 탐지 정확도를 단일 모델·단일 스케일 mAP_50-95로 공개하며, YOLO26n은 40.9, YOLO26x는 57.5를 기록하고, yolo detect val data=coco.yaml은 해당 평가를 재현합니다. Ultralytics VLM Leaderboard는 동일한 접근 방식을 비전 언어 모델에 적용하며, 의료 영상, 항공 사진, 소매 매대 등의 분야에서 수집한 실제 객체 탐지 데이터셋을 대상으로 mAP₅₀으로 각 모델의 성능을 평가합니다.

벤치마크의 한계#

• 벤치마크 과적합: 하나의 테스트 세트로 수년간 모델을 선택하면 해당 세트의 특이점에 맞춰 분야 전체가 조정될 수 있습니다. ImageNetV2는 원래 절차에 따라 새로운 테스트 세트를 수집하여 이를 검증했습니다. 정확도는 11~14% 하락했지만 모델 순위는 유지되었으며, 저자들은 하락 원인을 테스트 세트 재사용이 아니라 이미지가 약간 더 어려웠기 때문이라고 설명했습니다.
• 라벨 오류: 널리 사용되는 테스트 세트 10개를 조사한 연구에서는 라벨 중 최소 3.3%가 잘못되었다고 추정했습니다. 라벨을 수정한 ImageNet에서 원래 잘못 라벨링된 테스트 이미지 비율이 6%만 높아져도 ResNet-18이 ResNet-50보다 좋은 성능을 냅니다.
• 포화: 최고 성능 모델이 라벨 노이즈의 상한에 가까워지면 점수 차이로 모델을 구분하기 어려워지고, 더 어려운 후속 벤치마크가 등장합니다. 대규모 언어 모델이 MMLU에서 정확도 90%를 넘긴 뒤, Humanity's Last Exam은 전문가 질문 2,500개를 수집했습니다.
• 오염: 웹 규모 학습 데이터에 테스트 항목이 유출되면 대규모 언어 모델의 점수가 부풀려집니다. LiveCodeBench는 새로운 대회 문제를 공개일과 함께 지속해서 추가하여, 각 모델을 학습 종료 시점 이후에 공개된 문제로 평가하는 방식으로 이를 방지합니다.
• 배포 환경과의 불일치: 벤치마크는 하나의 데이터 분포를 측정합니다. COCO에서 1위를 기록한 모델이라도 공장이나 병원에서 작거나 특이하거나 도메인에 특화된 객체를 놓칠 수 있습니다. 따라서 팀은 자체 사용 사례에서 가져온 골든 데이터셋도 유지합니다.

벤치마크 데이터셋과 관련 용어 비교#

• 테스트 데이터: 완성된 모델을 한 번 평가하기 위해 따로 보관한 데이터입니다. 벤치마크의 테스트 분할은 한 분야 전체가 공유하는 테스트 데이터인 반면, 팀 자체 테스트 세트는 배포 데이터에 대한 성능을 측정합니다.
• 검증 데이터: 개발 중 하이퍼파라미터를 조정하고 체크포인트를 선택하는 데 사용하는 데이터입니다. 벤치마크는 이 용도로 공식 검증 분할을 제공하는 경우가 많습니다.
• 벤치마킹(속도): ONNX Runtime이나 TensorRT와 같은 런타임 및 주어진 하드웨어에서 모델의 지연 시간, 처리량, 메모리 사용량을 측정합니다. 일반적으로 내보낸 뒤 정확도도 확인하여 변환 과정에서 모델 성능이 저하되지 않았는지 검증합니다.