Benchmark Dataset

Karşılaştırma veri kümesi, araştırma topluluğunun aynı görevde modelleri aynı koşullar altında karşılaştırmak için kullandığı; önceden belirlenmiş bölümlere ve bir resmî değerlendirme metriğine sahip, sabit ve herkese açık bir veri kümesidir. Sonuçlar, ImageNet üzerindeki top-1 doğruluğu veya COCO val2017 üzerindeki mAP_50-95 gibi her metrik için tek bir sayı olarak raporlanır. Herkes aynı görüntüleri, etiketleri, puanlama kodunu ve kuralları kullandığından, bu sayılar makaleler arasında karşılaştırılabilir. Karşılaştırma ölçütleri makine öğrenimi (ML) alanındaki ilerlemeyi izler, hangi yöntemlerin benimseneceğini belirler ve makaleler ile model kartlarında öne çıkan rakamları sağlar.

Bir Karşılaştırma Ölçütünün Tanımladıkları#

Bir karşılaştırma ölçütü, iki puanı karşılaştırılamaz hâle getirebilecek her şeyi sabitler:

• Veriler ve bölümler: Daha kolay bir alt küme üzerinde değerlendirme yapılmaması için eğitim, doğrulama ve test görüntülerinin tam olarak hangileri olduğu.
• Görev ve etiket kümesi: Modelin ne üretmesi gerektiği; örneğin 1.000 sınıftan biri veya 80 nesne kategorisinin her biri için bir kutu ve sınıf.
• Metrik ve puanlama kodu: 0,50 ile 0,95 arasındaki on IoU eşiği üzerinden hassasiyeti ortalayan COCO değerlendirmesi gibi resmî uygulama.
• Kurallar: Ek eğitim verisi, test zamanı artırma veya model topluluklarına izin verilip verilmediği gibi, geçerli bir gönderi sayılmanın koşulları.

Birçok karşılaştırma ölçütü, ekiplerin test kümesine göre ayar yapmasını önlemek için test etiketlerini gizli tutar. Katılımcılar herkese açık bölümlerde eğitim yapar, test görüntüleri için tahminleri yükler ve sonuçlar sıralama tablosunda yayımlanmadan önce bir değerlendirme sunucusu tahminleri gizli etiketlere göre puanlar. ImageNet'te olduğu gibi test etiketleri hiçbir zaman yayımlanmadığında, makaleler bunun yerine herkese açık doğrulama bölümündeki sonuçları raporlar.

Yaygın Karşılaştırma Veri Kümeleri#

• Görüntü sınıflandırma: Top-1 ve top-5 doğruluğuna göre puanlanan ImageNet-1k ile daha küçük deneyler için CIFAR-10 ve CIFAR-100.
• Nesne algılama ve segmentasyon: Temel metriği ortalama kesinlik (mAP) olan 80 kategorili COCO, 20 kategorili Pascal VOC ve uzun kuyruklu tanıma için 1.203 kategorili LVIS.
• Otonom sürüş: Gerçek trafikte kamera ve lidar kayıtları içeren KITTI ve Waymo Open Dataset.
• Dil ve akıl yürütme: GPQA içindeki lisansüstü düzeyde bilim soruları, Humanity's Last Exam içindeki birçok alana yayılan uzman soruları ve LiveCodeBench içindeki kodlama problemleri.

Ultralytics, YOLO26 algılama doğruluğunu 640 pikseldeki 5.000 görüntülük COCO val2017 bölmesinde tek model ve tek ölçekli mAP_50-95 olarak yayımlar. Değerler YOLO26n için 40,9'dan YOLO26x için 57,5'e uzanır ve yolo detect val data=coco.yaml bu değerlendirmeyi yeniden üretir. Ultralytics VLM Leaderboard, aynı yaklaşımı görsel-dil modellerine uygular; her modeli tıbbi görüntüleme, hava fotoğrafları ve perakende rafları gibi alanlardaki gerçek dünya algılama veri kümelerinde mAP₅₀ ile puanlar.

Karşılaştırma Ölçütlerinin Sınırlamaları#

• Karşılaştırma ölçütüne aşırı uyum: Tek bir test kümesinde yıllarca model seçimi yapmak, bir alanı o kümenin kendine özgü özelliklerine göre ayarlayabilir. ImageNetV2, özgün prosedürü izleyerek yeni bir test kümesi toplamak suretiyle bunu sınadı: doğruluk %11 ila %14 düştü, ancak modellerin sıralaması korundu. Yazarlar düşüşü test kümesinin yeniden kullanılmasına değil, görüntülerin biraz daha zor olmasına bağladı.
• Etiket hataları: Yaygın olarak kullanılan 10 test kümesi üzerine yapılan bir çalışma, etiketlerin en az %3,3'ünün yanlış olduğunu tahmin etti. Düzeltilmiş etiketlerle ImageNet üzerinde, başlangıçta yanlış etiketlenmiş test görüntülerinin oranı yalnızca %6 arttığında ResNet-18, ResNet-50'den daha iyi performans gösterir.
• Doygunluk: En iyi modeller etiket gürültüsü üst sınırına yaklaştığında puan farkları modelleri birbirinden ayıramaz hâle gelir ve yerlerini daha zor testler alır. Büyük dil modelleri MMLU'da %90 doğruluğu geçtikten sonra Humanity's Last Exam 2.500 uzman sorusu topladı.
• Veri sızıntısı: Web ölçeğindeki eğitim verilerine sızan test öğeleri, büyük dil modellerinin puanlarını yükseltir. LiveCodeBench, her modelin eğitim kesim tarihinden sonra yayımlanan problemlerle puanlanabilmesi için yayımlanma tarihleriyle birlikte yeni yarışma problemlerini sürekli ekleyerek buna karşı önlem alır.
• Dağıtım ortamıyla uyumsuzluk: Bir karşılaştırma ölçütü tek bir veri dağılımını ölçer. COCO'da ilk sırada yer alan bir model, fabrikada veya hastanede küçük, alışılmadık ya da alana özgü nesneleri yine de kaçırabilir; bu nedenle ekipler kendi kullanım senaryolarından bir altın veri kümesi de tutar.

Karşılaştırma Veri Kümesi ve İlgili Terimler#

• Test verisi: Tamamlanmış bir modeli bir kez ölçmek için ayrılan veri. Karşılaştırma ölçütünün test bölümü, alanın tamamıyla paylaşılan test verisidir; ekibin kendi test kümesi ise dağıtım verilerindeki performansı ölçer.
• Doğrulama verisi: Hiperparametreleri ayarlamak ve kontrol noktalarını seçmek için geliştirme sırasında kullanılan veri. Karşılaştırma ölçütleri bu amaçla genellikle resmî bir doğrulama bölümü sunar.
• Karşılaştırma testi (hız): Bir modelin belirli donanım ve çalışma ortamlarındaki gecikme, verim veya bellek kullanımını ölçme; dönüşümün modeli bozmadığını doğrulamak için genellikle her dışa aktarma işleminden sonra ONNX Runtime veya TensorRT ile doğruluk kontrolü yapma.