Benchmark Dataset

Bir Karşılaştırma Veri Kümesi, makine öğrenimi (ML) modellerinin performansını adil, yeniden üretilebilir ve nesnel biçimde değerlendirmek için tasarlanmış standartlaştırılmış, yüksek kaliteli bir veri koleksiyonudur. Şirket içi testlerde kullanılan özel verilerin aksine karşılaştırma veri kümesi, araştırma ve geliştirme topluluğu için herkese açık bir "ölçüt" görevi görür. Farklı algoritmalar tam olarak aynı girdilerle ve aynı değerlendirme ölçütleri kullanılarak test edildiğinde geliştiriciler hangi modellerin daha yüksek doğruluk, hız veya verimlilik sunduğunu doğru biçimde belirleyebilir. Bu veri kümeleri, bilgisayarlı görü (CV) ve doğal dil işleme gibi alanlardaki bilimsel ilerlemeyi izlemek için temeldir.

Standardizasyonun Önemi#

Hızla gelişen yapay zekâ (AI) ortamında, ortak bir referans noktası olmadan yeni bir modelin "daha hızlı" veya "daha doğru" olduğunu iddia etmenin pratikte bir anlamı yoktur. Karşılaştırma veri kümeleri bu gerekli ortak zemini sağlar. Bu veri kümeleri genellikle küçük nesneleri tespit etme, örtüşmeleri ele alma veya düşük ışık koşullarında çalışma gibi belirli zorlukları temsil edecek şekilde derlenir.

ImageNet Büyük Ölçekli Görsel Tanıma Yarışması gibi büyük yarışmalar, sağlıklı rekabeti ve yeniliği teşvik etmek için bu veri kümelerinden yararlanır. Bu standardizasyon, model mimarisindeki iyileştirmelerin daha kolay, standart dışı veya özenle seçilmiş verilerle yapılan testlerin sonucu değil, teknolojideki gerçek ilerlemeler olmasını sağlar. Ayrıca yerleşik karşılaştırma veri kümelerini kullanmak, araştırmacıların olası veri kümesi önyargılarını belirlemesine ve modellerin çeşitli gerçek dünya senaryolarına iyi genelleme yapmasına yardımcı olur.

Karşılaştırma Veri Kümelerini Diğer Veri Bölümlerinden Ayırmak#

Karşılaştırma veri kümesini standart bir model geliştirme yaşam döngüsü sırasında kullanılan veri bölümlerinden ayırt etmek çok önemlidir. Benzerlikleri olsa da farklı görevleri vardır:

• Eğitim Verisi: Modeli eğitmek için kullanılan malzeme. Algoritma, dahili ağırlıklarını bu verilere göre ayarlar.
• Doğrulama Verisi: Hiperparametreleri ayarlamak ve aşırı öğrenmeyi önlemek için eğitim sırasında kullanılan bir alt küme. Ön kontrol işlevi görür ancak nihai puanı temsil etmez.
• Test Verisi: Yayın öncesinde performansı kontrol etmek için kullanılan şirket içi veri kümesi.
• Karşılaştırma Veri Kümesi: Evrensel olarak kabul görmüş harici bir test kümesidir. Karşılaştırma veri kümesi test verisi işlevi görse de temel farkı, model karşılaştırması için herkese açık bir standart olmasıdır.

Gerçek Dünya Uygulamaları#

Karşılaştırma veri kümeleri, titiz güvenlik ve güvenilirlik standartları belirleyerek çeşitli sektörlerde başarıyı tanımlar. Kuruluşların bir modelin kritik ortamlarda kullanıma hazır olup olmadığını doğrulamasını sağlar.

Genel Amaçlı Görüde Nesne Tespiti#

Nesne tespitinin en belirgin örneği COCO (Bağlam İçindeki Yaygın Nesneler) veri kümesidir. Ultralytics, YOLO26 gibi yeni bir mimari yayımladığında ortalama Ortalama Hassasiyet (mAP) iyileştirmelerini doğrulamak için modelin performansı COCO'ya göre titizlikle karşılaştırılır. Böylece araştırmacılar YOLO26'nın insan, bisiklet ve hayvan gibi günlük nesneleri tanıma konusunda YOLO11 veya diğer son teknoloji modellerle tam olarak nasıl karşılaştırıldığını görebilir.

Otonom Sürüş Güvenliği#

Otomotiv sektöründe güvenlik en öncelikli konudur. Otonom araç geliştiricileri, KITTI Görü Karşılaştırma Paketi veya Waymo Açık Veri Kümesi gibi özel karşılaştırma veri kümelerinden yararlanır. Bu veri kümelerinde yayaların, bisikletlilerin ve trafik işaretlerinin de bulunduğu, şehir içi sürüş ortamlarından alınmış karmaşık ve açıklama eklenmiş kayıtlar yer alır. Algılama sistemlerini bu karşılaştırma veri kümelerine göre değerlendirerek mühendisler, sistemlerinin gerçek trafik senaryolarındaki sağlamlığını ölçebilir ve yapay zekânın değişken tehlikelere doğru tepki verdiğinden emin olabilir.

Ultralytics ile Karşılaştırmalı Değerlendirme#

Doğru karşılaştırmayı kolaylaştırmak için Ultralytics, modelleri ONNX veya TensorRT gibi farklı dışa aktarma biçimlerinde kıyaslamaya yönelik yerleşik araçlar sunar. Bu, kullanıcıların uç cihazlara veya bulut sunucularına dağıtım yaparken kendi donanımları için çıkarım gecikmesi ile doğruluk arasındaki en iyi dengeyi belirlemesine yardımcı olur.

Aşağıdaki örnek, Python API'sini kullanarak bir YOLO26 modelinin nasıl kıyaslanacağını gösterir. Bu süreç, modelin hızını ve doğruluğunu standart bir veri kümesi yapılandırmasında değerlendirir.

from ultralytics import YOLO

# Resmî YOLO26 nano modelini yükle
model = YOLO("yolo26n.pt")

# Farklı biçimlerdeki performansı değerlendirmek için kıyaslamaları çalıştır
# Bu, COCO8 veri kümesinde hızı ve doğruluğu (mAP) kontrol eder
results = model.benchmark(data="coco8.yaml", imgsz=640, half=False)

Zorluklar ve Dikkat Edilmesi Gerekenler#

Kıyaslamalar önemli olsa da kusursuz değildir. Araştırmacılar, genelleme yeteneğinden ödün vererek yeni ve görülmemiş verilerde değil, özellikle bir kıyaslamada yüksek puan almak için modeli optimize ederse "teste göre öğretme" olarak bilinen bir olgu ortaya çıkabilir. Ayrıca, gerçek dünya koşulları değiştikçe statik kıyaslamalar güncelliğini yitirebilir. Objects365 projesinde veya Google'ın Open Images projesinde görüldüğü gibi veri kümelerinin sürekli güncellenmesi, çeşitliliği ve ölçeği artırarak bu sorunları hafifletmeye yardımcı olur. Özel kıyaslamalar için kendi veri kümelerini yönetmek isteyen kullanıcılar, veri edinme ve değerlendirme süreçlerini kolaylaştırmak için Ultralytics Platform kullanabilir.