Çapraz Doğrulama

Çapraz doğrulama, sınırlı bir veri örneğinde makine öğrenimi (ML) modellerinin performansını değerlendirmek için kullanılan sağlam bir istatistiksel yeniden örnekleme prosedürüdür. Verileri tek bir eğitim ve test setine ayıran standart hold-out yönteminden farklı olarak, çapraz doğrulama, her veri noktasının hem eğitim hem de doğrulama için kullanılmasını sağlamak amacıyla veri setini birden fazla alt kümeye bölmeyi içerir. Bu teknik, istatistiksel analiz sonuçlarının bağımsız bir veri kümesine nasıl genelleştirileceğini değerlendirmek için çok önemlidir ve modelin genelleştirilebilir kalıpları öğrenmek yerine eğitim örneklerini ezberleyebileceği durumlarda aşırı uyumu detect yardımcı olur.

K-Katlı Çapraz Doğrulama Mekanizması

Bu tekniğin en yaygın kullanılan varyasyonu K-Katlı Çapraz Doğrulamadır. Bu süreçte, tüm veri kümesi rastgele k eşit büyüklükte gruba veya "kat"a bölünür. Eğitim süreci daha sonra k kez tekrarlanır. Her yinelemede, tek bir kat modeli test etmek için doğrulama verisi olarak işlev görürken, kalan k-1 kat eğitim verisi olarak işlev görür.

Nihai performans metriği genellikle her döngüden elde edilen doğruluk, kesinlik veya Ortalama Kesinlik (mAP)gibi puanların ortalaması alınarak hesaplanır. Bu yaklaşım, eğitim-test bölünmesinin tek bir denemesiyle ilişkili varyansı önemli ölçüde azaltır ve genelleme hatasının daha güvenilir bir tahminini sağlar. Değerlendirmenin, test verilerinin keyfi seçimi tarafından önyargılı hale gelmemesini sağlar.

Ultralytics ile Uygulama

Çapraz doğrulama, daha küçük veri kümeleriyle çalışırken veya titiz hiperparametre ayarlaması yaparken özellikle yararlıdır. PyTorch gibi modern derin öğrenme çerçeveleri PyTorch eğitim döngüsünü kolaylaştırsa da, katların yönetimi dikkatli veri hazırlığı gerektirir.

Aşağıdaki örnek, YOLO26 modelini kullanarak 5 katlı çapraz doğrulama deneyi için önceden oluşturulmuş YAML yapılandırma dosyalarını nasıl yineleyeceğinizi gösterir. Bu örnek, veri kümenizi zaten beş ayrı yapılandırma dosyasına böldüğünüzü varsayar. YOLO26 modelini kullanarak 5 katlı çapraz doğrulama deneyi için önceden oluşturulmuş YAML yapılandırma dosyalarını nasıl yineleyeceğinizi gösterir. Bu örnek, veri kümenizi zaten beş ayrı yapılandırma dosyasına böldüğünüzü varsayar.

from ultralytics import YOLO

# List of dataset configuration files representing 5 folds
fold_yamls = [f"dataset_fold_{i}.yaml" for i in range(5)]

for i, yaml_file in enumerate(fold_yamls):
    # Load a fresh YOLO26 Nano model for each fold
    model = YOLO("yolo26n.pt")

    # Train the model, saving results to a unique project directory
    results = model.train(data=yaml_file, epochs=20, project="cv_experiment", name=f"fold_{i}")

Bölünme oluşturmanın otomatikleştirilmesi hakkında daha ayrıntılı bilgi için, K-Fold Çapraz Doğrulama kılavuzuna bakın.

Gerçek Dünya Uygulamaları

Çapraz doğrulama, verilerin kıt olduğu, toplanmasının pahalı olduğu veya güvenlik açısından kritik güvenilirliğin gerekli olduğu sektörlerde vazgeçilmezdir.

• Tıbbi Teşhis: Tıbbi görüntü analizinde, nadir görülen hastalıklarla ilgili veri kümeleri genellikle küçüktür. Tek bir doğrulama bölümü, zor vakaları veya nadir görülen patolojileri yanlışlıkla hariç tutabilir. Çapraz doğrulama kullanarak, sağlık hizmetlerinde yapay zeka geliştiren araştırmacılar, teşhis modellerinin mevcut tüm hasta taramalarıyla test edilmesini sağlayarak, sistemin çeşitli demografik gruplar ve ekipman türlerinde çalıştığını doğrular.
• Hassas Tarım: Açık hava koşullarında çevresel koşullar büyük ölçüde değişir. Mahsul hastalıklarının tespiti için eğitilmiş bir model güneşli günlerde iyi performans gösterebilir ancak bu görüntüler sadece eğitim setinde yer alıyorsa bulutlu havalarda başarısız olabilir. Çapraz doğrulama, modelin bu tür değişikliklere karşı dayanıklı olmasını sağlar ve çiftçilerin hava koşullarından bağımsız olarak tutarlı izleme için otomatik makine öğrenimi (AutoML) araçlarına güvenmelerine yardımcı olur.

Model Geliştirmede Stratejik Avantajlar

Çapraz doğrulamayı AI geliştirme yaşam dö ngüsüne entegre etmek, önyargı-varyans dengesi hakkında önemli içgörüler sağlar.

1. Kararlılık Değerlendirmesi: Performans ölçütleri katlar arasında önemli ölçüde farklılık gösteriyorsa, bu durum modelin eğitim için kullanılan belirli veri noktalarına karşı oldukça duyarlı olduğunu ve yüksek varyans olduğunu gösterir.
2. Veri Verimliliği: Her gözlem sonunda hem eğitim hem de doğrulama için kullanıldığından, sınırlı verilerin faydası en üst düzeye çıkarılır. .
3. Hiperparametre Optimizasyonu: Son test setine "bakmadan" en iyi öğrenme hızı, toplu iş boyutu veya veri artırma stratejilerini seçmek için güvenilir bir kriter sağlar.

İlgili Kavramların Farklılaştırılması

Çapraz doğrulamayı diğer değerlendirme terimlerinden ayırmak önemlidir:

• vs. Hold-out Doğrulama: Hold-out, tek bir bölünmeyi içerir (örneğin, 80/20). Daha hızlı ve ImageNet gibi büyük veri kümeleri için uygun olsa da ImageNetgibi büyük veri kümeleri için daha hızlı ve uygun olsa da, daha küçük veri kümeleri için çapraz doğrulamaya göre istatistiksel olarak daha az sağlamdır.
• vs. Bootstrapping: Bootstrapping, yerine koyma ile rastgele örneklemeyi içerirken, K-Fold çapraz doğrulama verileri yerine koyma olmadan bölümlere ayırır (her örnek tam olarak bir katta bulunur).

Birden fazla katmandan gelen artefaktları, metrikleri ve modelleri yönetmek karmaşık olabilir. Ultralytics , merkezi deney izleme özelliği sunarak bunu basitleştirir ve ekiplerin farklı katmanlar arasında performansı karşılaştırmasına ve model değerlendirme içgörülerini zahmetsizce görselleştirmesine olanak tanır.