Data Cleaning

Veri temizleme; bir kayıt kümesindeki, tablodaki veya veritabanındaki bozuk, hatalı ya da alakasız kayıtları tespit etme ve düzeltme (veya kaldırma) işlemidir. Yapay zekâ (AI) ve makine öğrenimi (ML) alanlarında bu adım, genellikle iş akışının en çok zaman alan ancak en önemli bölümü olarak kabul edilir. YOLO26 gibi bir model nesneleri etkili bir şekilde tanımayı öğrenmeden önce, düşük kaliteli girdilerin güvenilmez çıktılara yol açtığı "Çöp girerse, çöp çıkar" olgusunu önlemek için eğitim verileri hatalardan arındırılmalıdır.

Yapay Zekâda Veri Bütünlüğünün Önemi#

Yüksek performanslı bilgisayarlı görü modelleri, kullandıkları veri kümelerinin kalitesine büyük ölçüde bağlıdır. Bir veri kümesi yanlış etiketlenmiş görüntüler, yinelenen veriler veya bozuk dosyalar içeriyorsa model örüntüleri genellemekte zorlanır; bu da aşırı öğrenmeye veya düşük çıkarım doğruluğuna yol açar. Etkili veri temizleme, tahmine dayalı modellerin güvenilirliğini artırır ve algoritmanın gürültü yerine geçerli sinyallerden öğrenmesini sağlar.

Yaygın Veri Temizleme Teknikleri#

Uygulayıcılar, tablo verileri için Pandas veya özel bilgisayarlı görü araçları gibi araçları kullanarak veri kümelerini iyileştirmek için çeşitli stratejiler uygular.

• Eksik Değerleri Ele Alma: Bu işlem, eksik veriler içeren kayıtları kaldırmayı veya istatistiksel ortalamalara ya da en yakın komşulara dayalı olarak boşlukları doldurmak için değer atama tekniklerini kullanmayı içerir.
• Yinelenen Verileri Kaldırma: Bir eğitim kümesindeki yinelenen görüntüler, modeli istemeden yanlı hâle getirebilir. Bunları kaldırmak, modelin belirli örnekleri ezberlememesini sağlayarak veri kümesi yanlılığını azaltmaya yardımcı olur.
• Aykırı Değer Tespiti: Normdan önemli ölçüde sapan anormallikleri veya aykırı değerleri belirlemek ve ele almak kritik öneme sahiptir; çünkü bunlar istatistiksel analizi ve model ağırlıklarını çarpıtabilir.
• Yapısal Onarım: Bu işlem, sınıf tutarlılığını sağlamak için sınıf etiketlerindeki yazım hatalarını (ör. "Car" ile "car" arasındaki farkı düzeltmek) gidermeyi içerir.

Gerçek Dünya Uygulamaları#

Veri temizleme, yapay zekânın kullanıldığı çeşitli sektörlerde kritik bir rol oynar.

• Tıbbi Görüntü Analizi: Sağlık hizmetlerinde yapay zekâ uygulamalarında veri kümeleri genellikle artefaktlar, hatalı hasta meta verileri veya ilgisiz arka plan gürültüsü içeren taramalar barındırır. Bu verilerin temizlenmesi, tıbbi görüntü analizi modellerinin yalnızca tanıyla ilgili biyolojik belirteçlere odaklanmasını sağlar.
• Perakende Envanter Yönetimi: Perakendede yapay zekâ için ürün veri kümeleri, kullanım dışı kalmış ürünler veya yanlış en-boy oranlarına sahip görüntüler içerebilir. Bu veri kümelerinin temizlenmesi, nesne algılama modellerinin stok seviyelerini doğru bir şekilde belirlemesini ve canlı ortamda yanlış pozitifleri azaltmasını sağlar.

Veri Temizlemeyi Ön İşlemeden Ayırma#

Sıklıkla birbirinin yerine kullanılsalar da veri temizleme, veri ön işleme işleminden farklıdır. Veri temizleme, hataları düzeltmeye ve "kötü" verileri kaldırmaya odaklanır. Buna karşılık ön işleme; temiz verileri görüntü yeniden boyutlandırma, normalleştirme veya çeşitliliği artırmak için veri artırma uygulama gibi model için uygun bir biçime dönüştürmeyi içerir.

Kalite Kontrollerini Otomatikleştirme#

Ultralytics Platform üzerinde sunulanlar gibi modern iş akışları, eğitim başlamadan önce bozuk görüntüleri veya etiket tutarsızlıklarını belirlemek için otomatik kontrolleri entegre eder. Aşağıda, verileri YOLO26 gibi bir modele aktarmadan önce uygulanan yaygın bir adım olan standart Pillow kitaplığını kullanarak bozuk görüntü dosyalarını kontrol etme ve belirleme işlemini gösteren basit bir Python örneği verilmiştir.

from pathlib import Path

from PIL import Image


def verify_images(dataset_path):
    """Iterates through a directory to identify corrupt images."""
    for img_path in Path(dataset_path).glob("*.jpg"):
        try:
            with Image.open(img_path) as img:
                img.verify()  # Checks file integrity
        except (OSError, SyntaxError):
            print(f"Corrupt file found: {img_path}")


# Run verification on your dataset
verify_images("./coco8/images/train")