Veri Ön İşleme

Veri ön işleme, ham verileri temizleme, dönüştürme ve düzenleyerek modelleri eğitmek ve oluşturmak için uygun hale getirmeyi içeren makine öğrenimi (ML) hattında çok önemli bir adımdır. Gerçek dünyadan elde edilen ham veriler genellikle eksik, tutarsız ve hatalar içerebilir. Ön işleme, bu karmaşık verileri temiz, iyi yapılandırılmış bir biçime dönüştürür; bu, bir modelin etkili bir şekilde öğrenmesi için gereklidir. Bir modelin tahminlerinin kalitesi, üzerinde eğitildiği verilerin kalitesine büyük ölçüde bağlıdır ve bu da veri ön işlemeyi yüksek doğruluk ve yapay zeka sistemlerinde güvenilir performans elde etmek için temel bir uygulama haline getirir.

Veri Ön İşlemede Temel Görevler

Veri ön işleme, verileri hazırlamak için çeşitli teknikleri kapsayan geniş bir terimdir. Belirli adımlar veri kümesine ve ML görevine bağlıdır, ancak yaygın görevler şunlardır:

• Veri Temizleme (Data Cleaning): Bu, bir veri kümesindeki hataları, tutarsızlıkları ve eksik değerleri belirleme ve düzeltme veya kaldırma işlemidir. Bu, istatistiksel yöntemler kullanarak eksik verileri doldurmayı veya yinelenen girdileri kaldırmayı içerebilir. Temiz veri, herhangi bir güvenilir modelin temel taşıdır.
• Veri Dönüşümü (Data Transformation): Bu, verilerin ölçeğini veya dağılımını değiştirmeyi içerir. Yaygın bir teknik, sayısal özellikleri standart bir aralığa (örneğin, 0 ila 1) ölçeklendiren ve daha büyük ölçeklere sahip özelliklerin öğrenme sürecine hakim olmasını önleyen normalleştirmedir. scikit-learn ön işleme belgelerinden çeşitli ölçeklendirme yöntemleri hakkında daha fazla bilgi edinebilirsiniz.
• Özellik Mühendisliği (Feature Engineering): Bu, model performansını iyileştirmek için mevcut özelliklerden yeni özellikler oluşturma sürecidir. Bu, özellikleri birleştirmeyi, ayrıştırmayı veya daha anlamlı bilgiler çıkarmak için alan bilgisini kullanmayı içerebilir. İlgili bir kavram, verilerin boyutunu otomatik olarak azaltan özellik çıkarımıdır (feature extraction).
• Kategorik Veriyi Kodlama: Birçok makine öğrenimi algoritması sayısal girdi gerektirir. Ön işleme genellikle kategorik verilerin (metin etiketleri gibi) tek-sıcak kodlama gibi tekniklerle sayısal bir formata dönüştürülmesini içerir.
• Yeniden Boyutlandırma ve Artırma: Bilgisayarlı görüde (CV), ön işleme, görüntüleri tek tip bir boyuta yeniden boyutlandırmayı içerir. Ayrıca, görüntülerin değiştirilmiş versiyonlarını oluşturarak veri kümesini yapay olarak genişleten veri artırma ile de devam edilebilir.

Gerçek Dünya Yapay Zeka/Makine Öğrenimi Uygulamaları

Veri ön işleme, tüm yapay zeka alanlarında evrensel bir gerekliliktir. Uygulanması, hem basit hem de karmaşık görevlerde başarı için kritiktir.

1. Tıbbi Görüntü Analizi: Bir YOLO modeli, Beyin Tümörü veri kümesi gibi bir veri kümesinden alınan MRI taramalarındaki tümörleri tespit etmek için eğitilmeden önce, görüntülerin önceden işlenmesi gerekir. Bu, tarama ekipmanındaki farklılıkları hesaba katmak için piksel yoğunluğu değerlerinin normalleştirilmesini, tüm görüntülerin modelin omurgası tarafından gerekli tutarlı bir giriş boyutuna yeniden boyutlandırılmasını ve bozuk dosyaları veya yanlış etiketlenmiş örnekleri kaldırmak için veri kümesinin temizlenmesini içerir. Bu, evrişimsel sinir ağının (CNN) görüntülemedeki varyasyonlardan ziyade modelin gerçek patolojik özelliklerini öğrenmesini sağlar. Tümör tespiti için YOLO kullanma hakkındaki blog yazımızda bu konuda daha fazla bilgi bulabilirsiniz.
2. Yapay Zeka Destekli Perakende Tahmini: Perakendede müşteri talebini tahmin eden bir model için, ham satış verileri genellikle eksik işlem kayıtları, tutarsız ürün adlandırması ve çok farklı ölçeklerdeki özellikler (örneğin, 'ürün fiyatı' - 'satılan ürün sayısı') içerir. Buradaki ön işleme, eksik satış rakamlarını tahmin etmeyi, ürün adlarını standartlaştırmayı ve tahmine dayalı modelleme algoritmasının her faktörün önemini etkili bir şekilde tartabilmesi için sayısal özellikleri normalleştirmeyi içerir. İşletme için ön işlemeye genel bir bakış bu adımları vurgular.

Veri Ön İşleme ve İlgili Kavramlar

Veri ön işlemesini, ilgili diğer veri yönetimi terimlerinden ayırmak faydalıdır.

• Veri Temizleme (Data Cleaning): Belirtildiği gibi, veri temizleme, veri ön işlemenin bir alt kümesidir. Ön işleme, bir modeli hazırlama sürecinin tamamı iken, temizleme özellikle hataları düzeltmeye, eksik değerleri işlemeye ve ham veri kümesindeki tutarsızlıkları gidermeye odaklanır.
• Veri Artırımı (Data Augmentation): Veri artırımı, eğitim verilerinin boyutunu yapay olarak artırmak için kullanılan bir tekniktir. Eğitim için veri hazırlamanın bir parçası olmasına rağmen, genellikle orijinal veri kümesinde temizleme ve yeniden boyutlandırma gibi ilk ön işleme adımları tamamlandıktan sonra uygulanır. Artırmanın amacı modelin genellemesini iyileştirmekken, ön işlemenin amacı orijinal veriyi kullanılabilir hale getirmektir.
• Veri Analitiği (Data Analytics): Veri analitiği, sonuçlar çıkarmak ve karar almayı desteklemek için veri kümelerini incelemeyi içeren çok daha geniş bir alandır. Veri ön işleme, keşifsel veri analizi (EDA), modelleme ve veri görselleştirme (data visualization) içeren bir veri analitiği iş akışı içindeki temel ilk adımdır.

Ultralytics HUB gibi platformlar, veri kümelerini yönetmeye ve verileri hazırlamaktan model dağıtımına kadar ML yaşam döngüsünü kolaylaştırmaya yardımcı olabilir. Açıklamalı verileri ön işleme kılavuzu daha fazla pratik bilgi sağlar.