Data Curation

Veri kürasyonu; verilerin belirli bir amaç için yararlı kalmasını sağlamak üzere seçilmesi, düzenlenmesi, denetlenmesi, belgelenmesi ve sürdürülmesi sürecidir. Makine öğreniminde bu süreç, modelin öğrendiği örnekleri ve onu değerlendirmek için kullanılan kanıtları şekillendirir. Küratörlüğü yapılmış bir veri kümesi; ilgili örnekleri, denetimli görevler için tutarlı etiketleri, bağlamsal bilgileri ve izlenebilir sürümleri bir araya getirir.

Kürasyon, Temizleme ve Ön İşleme#

Kürasyon, veri kümesinin yaşam döngüsünün tüm aşamalarını kapsar. Veri temizleme hataları düzeltir ve kullanılamaz kayıtları kaldırır; veri ön işleme ise yeniden boyutlandırma veya normalleştirme gibi işlemlerle girdileri dönüştürür. Veri anotasyonu, veri etiketleme olarak da adlandırılır ve denetimli öğrenmede kullanılan hedefleri ekler. Kürasyon; hangi örneklerin dahil edileceğine, kategorilerin nasıl tanımlanacağına ve koleksiyonun zaman içinde nasıl değişeceğine karar verirken bu etkinlikleri koordine eder. Tutarlı kategori tanımları ve etiketleme kuralları, modellerin görüntüler ile hedefler arasındaki güvenilir ilişkileri öğrenmesine yardımcı olur.

Bu nedenle kürasyon, sistemleri verilerini iyileştirerek geliştiren veri odaklı yapay zekânın uygulamadaki önemli bir bileşenidir.

Veri Kürasyonu Nasıl Yapılır#

Süreç; tahmin görevi, hedef kategoriler, çalışma koşulları ve dahil etme ölçütlerini belirten bir veri kümesi tanımıyla başlar. Nesne tespiti için bu tanım, sınırlayıcı kutular ve kısmen görünür nesnelerle ilgili kuralları da içerir. Kategori sıklıklarını ve görüntü yakalama koşullarını incelemek; yeterince temsil edilmeyen sınıflar veya ortamlar dahil, veri kümesi yanlılığını ortaya çıkarır.

Kalite kontrolleri, otomatik incelemeyi insan denetimiyle birleştirir. Dosya kontrolleri okunamayan görüntüleri bulur; anotasyon kontrolleri geçersiz koordinatları ve tutarsız sınıfları belirler. Dosyaların tam eşleşen özet değerleri aynı kopyaları tespit ederken, görüntü içeriğinin sayısal temsilleri olan gömme vektörleri, görsel olarak benzer örnekleri bulmaya yardımcı olur. İnceleme, düzeltilebilir hataları kullanılamaz kayıtlardan ayırır ve görevi temsil eden geçerli, zor örnekleri korur.

Bir dosya özeti denetimi, her benzersiz dosya için tek bir yolu koruyabilir. Bu örnek, ultralytics paketiyle birlikte gelen ve pip install ultralytics ile yüklenen görüntüleri denetler:

from hashlib import sha256

from ultralytics.utils import ASSETS

paths = sorted(ASSETS.glob("*.jpg"))
unique = {}

# Keep the first image path for each file digest.
for path in paths:
    digest = sha256(path.read_bytes()).hexdigest()
    unique.setdefault(digest, path)

curated = list(unique.values())
print(f"Before: {len(paths)}, after deduplication: {len(curated)}")

Sayılar, tam eşleştirmeyle yinelenen dosyalar kaldırıldıktan sonra kaç dosyanın kaldığını gösterir; sayıların eşit olması, örneklenen tüm dosyaların farklı özet değerlerine sahip olduğu anlamına gelir.

Veri bölme işlemi, eğitim verilerinin, doğrulama verilerinin ve test verilerinin birbirinden bağımsız olmasını sağlar. Birbirine yakın video kareleri aynı sahnenin içeriğini paylaşır; bu nedenle bunları farklı bölümlere dağıtmak veri sızıntısına yol açar ve değerlendirme puanlarını olduğundan yüksek gösterir. Kayıt oturumuna, kameraya veya konuma göre gruplama yapmak, değerlendirmenin amaçlanan genelleme görevini yansıtmasını sağlar. Sabit bir veri kümesi sürümü, etiketlerle birlikte bu atamaları da korur.

Ultralytics Platform, kapsama boşluklarını, yinelenen örnekleri ve aykırı değerleri ortaya çıkaran sınıf dağılımı grafikleri ve görüntü kümeleme özellikleriyle kürasyonu destekler. Veri kümesi yönetim araçları, ekiplerin bu grupları incelemesine ve görüntüleri, etiketleri ve bölme atamalarını güncellemesine olanak tanır.

Veri Küratörü Ne Yapar#

Veri küratörü, koleksiyonun anlamını ve kullanılabilirliğini korur. Sorumlulukları arasında kaynakları belgelemek, anotasyon yönergelerini koordine etmek, etiketleme konusundaki anlaşmazlıkları çözmek ve değişiklikleri kaydetmek yer alır. Örnekleri tanımlayan bilgiler olan meta veriler; edinim zamanını, sensörü, konumu ve anotasyon durumunu kaydeder. Yeniden kullanılabilir verileri korumak, açıklamaları ve destekleyici belgeleri muhafaza etmeyi de kapsar.

Veri kökeni, örneklerin nereden geldiğini ve nasıl dönüştürüldüğünü kaydeder. Veri kümesi sürümlerini deney takibiyle ilişkilendirmek, model karşılaştırmalarının tekrarlanabilir olmasını sağlar. Dağıtımdan sonra aktif öğrenme, inceleme için bilgi sağlayıcı örneklere öncelik verir; izleme, yeni veri toplamayı gerektirebilecek veri kaymasını tespit eder.

Bilgisayarlı Görüde Örnekler#

Otomotiv algılamada, orijinal BDD100K koleksiyonu, ABD'deki konumları, hava koşullarını ve gündüz-gece ortamlarını kapsayan 100.000 sürüş videosu içerir. Çevresel nitelikleri, farklı görüntü yakalama koşullarında değerlendirme yapılmasını sağlar. Platform sürümünde tespit için 99.996 anahtar kare görüntüsü bulunur.

99.996

BDD100K

ultralytics

Herkese açıkAlgıla

Dashcam frames from crowdsourced US drives across cities, weather, and times of day, from UC Berkeley's BDD100K driving benchmark. Keyframes come from 40-second videos recorded largely in New York and the San Francisco Bay Area through Nexar, including night, rain, snow, and fog. Source: Yu, Chen, Wang, et al., "BDD100K: A Diverse Driving Dataset for Heterogeneous Multitask Learning," CVPR 2020; bdd100k.com. Free for educational, research, and non-profit use; commercial use requires UC Berkeley permission.

10 sınıf9.5 GB23 Eki 2026

bikebuscarmotor+6

Görüntü sınıflandırmada, ciFAIR düzeltmesi, CIFAR-10 ve CIFAR-100 veri kümelerinin özgün test kümelerindeki neredeyse yinelenen örnekleri değiştirdi. Eğitim görüntüleriyle veya diğer test görüntüleriyle eşleşen örnekler, özgün test kümelerinin sırasıyla %3,25'ini ve %10'unu etkiledi. Eğitim verileri değiştirilmeden, ResNeXt-29 (8x64d) modelinin sınıflandırma hatası CIFAR-10'da %3,56 iken ciFAIR-10'da %3,95'e yükseldi.