Benchmark Dataset

Kıyaslama Veri Kümesi, makine öğrenimi (ML) modellerinin performansını adil, tekrarlanabilir ve objektif bir şekilde değerlendirmek için tasarlanmış, standartlaştırılmış ve yüksek kaliteli bir veri koleksiyonudur. Dahili testler için kullanılan özel verilerin aksine, bir kıyaslama veri kümesi, araştırma ve geliştirme topluluğu için halka açık bir "ölçü birimi" görevi görür. Farklı algoritmaları tamamen aynı girdiler üzerinde test ederek ve özdeş değerlendirme metriklerini kullanarak geliştiriciler, hangi modellerin daha üstün doğruluk, hız veya verimlilik sunduğunu doğru bir şekilde belirleyebilirler. Bu veri kümeleri, bilgisayarlı görü (CV) ve doğal dil işleme gibi alanlarda bilimsel ilerlemeyi takip etmek için temeldir.

Link to this sectionStandardizasyonun Önemi#

Hızla gelişen yapay zeka (AI) dünyasında, ortak bir referans noktası olmadan yeni bir modelin "daha hızlı" veya "daha doğru" olduğunu iddia etmek aslında anlamsızdır. Kıyaslama veri kümeleri bu gerekli ortak zemini sağlar. Bu kümeler genellikle küçük nesneleri tespit etme, tıkanıklıklarla başa çıkma veya kötü aydınlatma koşullarında ilerleme gibi belirli zorlukları temsil edecek şekilde özenle oluşturulur.

ImageNet Large Scale Visual Recognition Challenge gibi büyük yarışmalar, sağlıklı rekabeti ve inovasyonu teşvik etmek için bu veri kümelerine güvenir. Bu standardizasyon, model mimarisindeki iyileştirmelerin daha kolay, standart olmayan veya özenle seçilmiş veriler üzerinde yapılan testlerin bir sonucu değil, teknolojideki gerçek ilerlemeleri temsil etmesini sağlar. Ayrıca, yerleşik kıyaslamaları kullanmak, araştırmacıların potansiyel veri kümesi yanlılığını belirlemelerine yardımcı olur ve modellerin çeşitli gerçek dünya senaryolarına iyi bir şekilde genellenmesini sağlar.

Link to this sectionKıyaslamaları Diğer Veri Bölümlerinden Ayırma#

Bir kıyaslama veri kümesini, standart bir model geliştirme yaşam döngüsü sırasında kullanılan veri bölümlerinden ayırt etmek çok önemlidir. Benzerlikleri olsa da rolleri farklıdır:

• Eğitim Verisi: Modeli eğitmek için kullanılan materyal. Algoritma, iç ağırlıklarını bu veriye göre ayarlar.
• Doğrulama Verisi: Eğitim sırasında hiperparametreleri ayarlamak ve aşırı öğrenmeyi (overfitting) önlemek için kullanılan bir alt küme. Ön kontrol görevi görür ancak nihai skoru temsil etmez.
• Test Verisi: Sürüm öncesinde performansı kontrol etmek için kullanılan dahili bir veri kümesi.
• Kıyaslama Veri Kümesi: Evrensel olarak kabul edilmiş harici bir test kümesi. Bir kıyaslama, test verisi olarak işlev görse de temel farkı, model karşılaştırması için halka açık bir standart rolü oynamasıdır.

Link to this sectionGerçek Dünya Uygulamaları#

Kıyaslama veri kümeleri, titiz güvenlik ve güvenilirlik standartları oluşturarak çeşitli endüstrilerdeki başarıyı tanımlar. Kuruluşların bir modelin kritik ortamlarda dağıtıma hazır olduğunu doğrulamasına olanak tanırlar.

Link to this sectionGenel Amaçlı Görüde Nesne Tespiti#

Nesne tespiti alanındaki en belirgin örnek COCO (Common Objects in Context) veri kümesidir. Ultralytics, YOLO26 gibi yeni bir mimari yayınladığında, performansı ortalama Hassasiyet (mAP) alanındaki iyileştirmeleri doğrulamak için COCO'ya karşı titizlikle kıyaslanır. Bu, araştırmacıların YOLO26'nın insanlar, bisikletler ve hayvanlar gibi günlük nesneleri tanıma konusunda YOLO11 veya diğer en son teknoloji modellerle nasıl karşılaştırıldığını tam olarak görmelerini sağlar.

Link to this sectionOtonom Sürüş Güvenliği#

Otomotiv endüstrisinde güvenlik her şeyden önemlidir. Otonom araç geliştiricileri, KITTI Vision Benchmark Suite veya Waymo Open Dataset gibi özel kıyaslamaları kullanırlar. Bu veri kümeleri; yayalar, bisikletliler ve trafik işaretleri dahil olmak üzere kentsel sürüş ortamlarının karmaşık ve açıklanmış kayıtlarını içerir. Mühendisler, algılama sistemlerini bu kıyaslamalara göre değerlendirerek sistemlerinin gerçek dünya trafik senaryolarındaki sağlamlığını ölçebilir ve yapay zekanın dinamik tehlikelere doğru şekilde tepki vermesini sağlayabilirler.

Link to this sectionUltralytics ile Kıyaslama#

Doğru karşılaştırmayı kolaylaştırmak için Ultralytics, modelleri ONNX veya TensorRT gibi farklı dışa aktarma formatları genelinde kıyaslamak için yerleşik araçlar sağlar. Bu, kullanıcıların uç cihazlarda veya bulut sunucularında dağıtım yaparken çıkarım gecikmesi ile doğruluk arasındaki en iyi dengeyi belirlemelerine yardımcı olur.

Aşağıdaki örnek, Python API kullanarak bir YOLO26 modelinin nasıl kıyaslanacağını göstermektedir. Bu işlem, modelin hızını ve doğruluğunu standart bir veri kümesi yapılandırmasında değerlendirir.

from ultralytics import YOLO

# Load the official YOLO26 nano model
model = YOLO("yolo26n.pt")

# Run benchmarks to evaluate performance across different formats
# This checks speed and accuracy (mAP) on the COCO8 dataset
results = model.benchmark(data="coco8.yaml", imgsz=640, half=False)

Link to this sectionZorluklar ve Hususlar#

Kıyaslamalar gerekli olsa da kusursuz değillerdir. Araştırmacılar bir modeli, yeni ve görülmemiş verilere yönelik genelleme pahasına bir kıyaslamada yüksek puan almak için özel olarak optimize ederlerse "teste göre öğretme" olarak bilinen bir olgu ortaya çıkabilir. Ayrıca, statik kıyaslamalar gerçek dünya koşulları değiştikçe güncelliğini yitirebilir. Objects365 projesinde veya Google'ın Open Images projesinde görüldüğü gibi veri kümelerindeki sürekli güncellemeler, çeşitliliği ve ölçeği artırarak bu sorunların hafifletilmesine yardımcı olur. Kendi özel kıyaslamaları için kendi veri kümelerini yönetmek isteyen kullanıcılar, kolaylaştırılmış veri sağlama ve değerlendirme için Ultralytics Platform'dan yararlanabilirler.