Golden Dataset

Golden veri kümesi; bir AI sistemini değerlendirmek için güvenilir bir referans olarak kullanılan, özenle derlenmiş, doğru şekilde etiketlenmiş ve temsil niteliği taşıyan örnekler koleksiyonudur. Boyutu maksimize etmek yerine doğruluk, kapsam ve hedeflenen uygulamayla ilgililik durumlarına öncelik verir. Ekipler bunu modelleri karşılaştırmak, regresyonları kontrol etmek, hataları incelemek ve bir sistemin üretime çıkmaya hazır olup olmadığına karar vermek için istikrarlı bir "cevap anahtarı" olarak kullanır.

Makine öğreniminde, "golden veri kümesi" evrensel olarak standardize edilmiş bir veri kümesi türünden ziyade gayriresmi bir mühendislik terimidir. Tam içeriği göreve bağlıdır: nesne tespiti için doğrulanmış sınırlayıcı kutulara sahip görseller, bir dil modeli için onaylanmış yanıtlar içeren komutlar veya dolandırıcılık tespiti için onaylanmış sonuçlara sahip işlemler.

Bir Veri Kümesini Golden Yapan Nedir?#

Bir golden veri kümesi, girdilerin yanı sıra ground truth olarak adlandırılan güvenilir beklenen çıktıları içerir. Bilgisayarlı görüde bu çıktılar; sınıf etiketleri, sınırlayıcı kutular, segmentasyon maskeleri veya titiz veri etiketleme süreçleriyle üretilen anahtar noktalar olabilir.

Temel özellikleri şunlardır:

• Etiket doğruluğu: Alan uzmanları veya eğitilmiş incelemeciler, net yönergeler kullanarak etiketleri doğrular. Belirsiz örnekler, bireysel yoruma bırakılmak yerine tutarlı bir şekilde çözüme kavuşturulur.
• Temsil kapsamı: Veri kümesi; yaygın durumlar, zorlu örnekler, nadir olaylar ve ilgili kullanıcı veya çevresel gruplar dahil olmak üzere önemli üretim koşullarını yansıtır.
• Görev uyumu: Her örnek, depo aydınlatması altında hasarlı paketleri tespit etmek gibi tanımlanmış bir gereksinimi ölçmeye yardımcı olur.
• Bağımsızlık: Örnekler, bildirilen performansı yanıltıcı bir şekilde yüksek gösterebilecek veri sızıntısını önlemek için eğitim verilerinden ayrı tutulur.
• İzlenebilirlik: Ekipler veri kaynaklarını, toplama koşullarını, etiketleme kurallarını, incelemecileri ve değişiklikleri kaydeder. MLflow veri kümesi takibi, hash'lerin, şemaların, kaynakların ve veri kümesi soy ağacının tekrarlanabilirliği nasıl destekleyebileceğini gösterir.
• Kontrollü değişiklik: Güncellemeler sürümlendirilir ve incelenir. Bir model puanı yalnızca tam veri kümesi sürümü ve değerlendirme ayarları bilindiğinde anlamlıdır.

Golden, kusursuz veya kalıcı olarak doğru olduğu anlamına gelmez. Gerçek dünya koşulları ve tanımları değişebilir; bu nedenle referans kümesi, geçmiş sonuçlar sessizce yeniden yazılmadan denetlenmeli ve yenilenmelidir.

Golden Veri Kümesi ile İlgili Terimlerin Karşılaştırması#

Bir golden veri kümesi, tanıdık birkaç kavramla örtüşür ancak güven ve yönetişime vurgu yapar:

• Bir ground-truth etiketi, tek bir örnek için kabul edilen yanıttır; golden veri kümesi ise gözden geçirilmiş örneklerin ve bunların kabul edilen yanıtlarının bir koleksiyonudur.
• Bir benchmark veri kümesi genellikle sistemleri ortak bir görevde karşılaştırmak için paylaşılır. Golden veri kümesi ise genellikle özeldir ve tek bir kuruluşa, ürüne veya dağıtım ortamına göre uyarlanmıştır.
• Doğrulama verileri, geliştirme sırasında model seçimine ve ayarlamaya rehberlik eder. Buna dayanarak alınan tekrarlanan kararlar, geliştirme sürecini zamanla aşırı uydurmaya (overfit) götürebilir.
• Test verileri, nihai değerlendirme için saklanır. Golden veri kümesi, ayrı geliştirme ve nihai test bölümleri de içerebilmesine rağmen genellikle yüksek kaliteli bir test veya regresyon kümesi işlevi görür.
• Eğitim verileri model parametrelerini öğretir ve genellikle çok daha büyüktür. Sürümlendirilmiş bir kopya kasıtlı olarak değerlendirmeden emekliye ayrılmadığı sürece bir golden veri kümesi eğitimin dışında tutulmalıdır.

Google veri bölme kılavuzu, eğitim, doğrulama ve test örneklerinin ayrı tutulmasını önerir. Verilerin kıt olduğu durumlarda, çapraz doğrulama teknikleri tahmini iyileştirebilir, ancak korunan nihai bir referans kümesi değerini korur.

Gerçek Dünya Uygulamaları#

Üretim kusuru denetimi: Bir fabrika; kabul edilebilir ürünleri ve çatlaklar, eksik bileşenler veya yanlış montaj gibi onaylanmış kusurları gösteren gözden geçirilmiş görsellerden oluşan bir golden veri kümesi oluşturabilir. Birden fazla üretim hattı, kamera pozisyonu, malzeme ve aydınlatma koşulunu içerir. Her aday model, piyasaya sürülmeden önce aynı küme üzerinde değerlendirilir. Küçük çatlaklar için geri çağırma (recall) oranı düşerse, genel metrik kabul edilebilir görünse bile ekip dağıtımı engelleyebilir.

Perakende raf izleme: Bir perakendeci; kalabalık raflar, boş alanlar, kısmen gizlenmiş ürünler, sezonluk ambalajlar ve yansımalar içeren doğrulanmış mağaza görselleri bulundurabilir. Bu veri kümesi, bir görü sisteminin mağaza ortamlarında ürünleri ve stok boşluklarını güvenilir bir şekilde tespit edip etmediğini ölçer. Performansı senaryoya veya ürün kategorisine göre incelemek, Microsoft'un sorumlu AI kılavuzunda açıklanan yüksek hata oranına sahip kohortları bulma konusundaki daha geniş uygulamayı takip eder.

Bu uygulamalar, yalnızca genel doğruluğun neden yetersiz olduğunu gösterir. Golden veri kümesi; hataların farklı sonuçlar doğurduğu nadir sınıflar, konumlar, cihazlar veya koşullar için dilim tabanlı değerlendirmeyi desteklemelidir. NIST AI Risk Yönetimi Çerçevesi Çekirdeği de benzer şekilde belgelenmiş test kümelerini, uygun metrikleri ve dağıtıma benzer koşullar altında değerlendirmeyi vurgular.

Golden Veri Kümesi Oluşturma ve Bakımını Yapma#

Modelin hedeflenen davranışını ve önemli hata modlarını tanımlayarak başlayın. Temsili örnekler toplayın, kesin etiketleme talimatları yazın, incelemeci kalibrasyonu çalıştırın ve anlaşmazlıkları alan uzmanlarıyla çözün. Görsel olarak benzer içeriğin eğitim-değerlendirme sınırını geçememesi için birbirine çok benzeyen kopyaları (near-duplicates) ve ilgili video karelerini aynı bölmede tutun.

Görü projeleri için Ultralytics Platform; bulut veri kümesi yönetimini, etiketlemeyi, eğitimi ve dağıtımı destekler. Etiketleme iş akışı, ekiplerin etiketler oluşturmasını ve bunları iyileştirmesini sağlarken veri kümesi görünümleri sınıf dağılımlarını, etiketlenmemiş görselleri, bölmeleri, kopyaları ve aykırı değerleri incelemeye yardımcı olur.

Onaylanan her sürümü etiketleyin ve eklemeleri, çıkarmaları, etiket düzeltmelerini ve politika değişikliklerini belgelendirin. NIST'in AI testi, değerlendirmesi, doğrulaması ve teyidi hakkındaki kılavuzu, anlamlı bir değerlendirme için daha geniş bir çerçeve sunar. Dağıtımdan sonra gelen verileri golden referans ile karşılaştırın ve değişen koşullara karşı izleme yapın; Azure model izleme kılavuzu, kayma (drift) ve veri kalitesi sinyallerinin bir referans kümesinin ne zaman revizyona ihtiyaç duyduğunu nasıl ortaya koyabileceğini açıklar.

Bir Görü Modelini Değerlendirme#

Ultralytics YOLO, Doğrulama modunu kullanarak tahminleri gözden geçirilmiş etiketlere göre değerlendirebilir:

from ultralytics import YOLO

# Load a pretrained object detection model
model = YOLO("yolo26n.pt")

# Evaluate predictions against a labeled reference split
metrics = model.val(data="coco8.yaml", split="val")

# Report the primary detection metric
print(f"mAP50-95: {metrics.box.map:.3f}")

Bu iş akışı, bir golden veri kümesinin model tarafındaki rolünü gösterir: sabit bir modeli etiketlenmiş sabit bir bölmede çalıştırın ve tekrarlanabilir bir metrik kaydedin. Üretim projelerinde ekipler ayrıca bir sürümü onaylamadan önce sınıf bazında sonuçları, karışıklık matrislerini (confusion matrices), zorlu örnekleri ve uygulamaya özel kabul eşiklerini incelemelidir.