Data Preprocessing

Veri ön işleme, ham verilerin algoritmalar için temiz ve anlaşılır bir biçime dönüştürüldüğü makine öğrenimi işlem hattındaki kritik ilk adımdır. Gerçek dünyada veriler genellikle eksik, tutarsız ve belirli davranışlardan veya eğilimlerden yoksundur; bu nedenle bir bilgisayar için "kirli" veya "gürültülü" görünürler. Ön işleme, ham bilgi ile neural networks tarafından gereksinilen yapılandırılmış girdiler arasındaki boşluğu doldurarak nihai modelin accuracy değerini ve verimliliğini önemli ölçüde etkiler. Mühendisler, veri kümelerini standartlaştırarak ve temizleyerek YOLO26 gibi gelişmiş mimarilerin gürültüyü değil anlamlı kalıpları öğrenebilmesini sağlar.

Veri Ön İşleme Neden Önemlidir?#

Makine öğrenimi modelleri, özellikle computer vision alanında kullanılanlar, girdi verilerinin kalitesine ve ölçeğine duyarlıdır. Uygun ön işleme olmadan bir model, eğitim sırasında yakınsamakta zorlanabilir veya güvenilmez tahminler üretebilir. Örneğin, bir veri kümesindeki görseller farklı çözünürlüklere veya renk ölçeklerine sahipse, model asıl object detection görevine odaklanmak yerine bu tutarsızlıklarla başa çıkmayı öğrenmek için ekstra kapasite harcamak zorunda kalır.

Ön işleme teknikleri genel olarak şunları hedefler:

• Veri Kalitesini Artırmak: Veri kümesinin problem alanını doğru bir şekilde temsil etmesini sağlamak için hataları, aykırı değerleri ve kopyaları kaldırır.
• Girdileri Standartlaştırın: Gradyan inişi gibi optimization algorithms işlevinin daha sorunsuz çalışmasına yardımcı olmak için özellikleri (piksel değerleri gibi) genellikle 0 ile 1 arasında olmak üzere tekdüze bir aralığa yeniden ölçeklendirin.
• Karmaşıklığı Azaltın: dimensionality reduction gibi teknikler aracılığıyla veri temsillerini basitleştirerek öğrenme sürecini hızlandırın.

Ön İşlemede Temel Teknikler#

Verileri eğitime hazırlamak için her biri data pipeline içinde belirli bir amaç için kullanılan çeşitli standart yöntemler uygulanır.

• Data Cleaning: Bu adım eksik değerlerin ele alınmasını (imputasyon), tutarsız etiketlemenin düzeltilmesini ve bozuk dosyaların filtrelenmesini kapsar. Görsel yapay zeka bağlamında bu, bulanık görüntülerin kaldırılması veya hatalı bounding box koordinatlarının düzeltilmesi anlamına gelebilir.
• Normalizasyon ve Ölçeklendirme: Piksel yoğunlukları büyük ölçüde değişebileceğinden, görüntülerin normalize edilmesi yüksek değerli piksellerin öğrenme sürecine hakim olmamasını sağlar. Yaygın yöntemler arasında Min-Max ölçeklendirme ve Z-score normalization bulunur.
• Kodlama: Sınıf etiketleri (ör. "kedi", "köpek") gibi kategorik veriler sayısal biçimlere dönüştürülmelidir. one-hot encoding veya etiket kodlama gibi teknikler standart uygulamalardır.
• Yeniden Boyutlandırma ve Biçimlendirme: Derin öğrenme modelleri genellikle sabit boyutta girdiler bekler. Ön işleme işlem hatları, farklı görüntüleri otomatik olarak real-time inference için yaygın olan 640x640 piksel gibi standart bir boyuta yeniden boyutlandırır.

Gerçek Dünya Uygulamaları#

Veri ön işleme, ham girdilerin eyleme dönüştürülebilir içgörülere dönüşmesini sağlayarak endüstriler genelinde her yerde mevcuttur.

Tıbbi Görüntüleme Tanısı#

In healthcare AI alanında ön işleme, X-ışınlarını veya MR taramalarını analiz etmek için hayati önem taşır. Ham tıbbi görüntüler genellikle sensörlerden kaynaklanan gürültü veya kullanılan makineye bağlı olarak aydınlatma ve kontrast farklılıkları içerir. histogram equalization gibi ön işleme adımları, tümörleri veya kırıkları daha görünür kılmak için kontrastı artırırken gürültü azaltma filtreleri görüntü yapısını netleştirir. Bu hazırlık, modellerin daha yüksek hassasiyetle tumor detection gerçekleştirmesine olanak tanır ve olumsuz sonuçları azaltarak potansiyel olarak hayat kurtarır.

Otonom Sürüş#

Otonom araçlar LiDAR, radar ve kameralar dahil olmak üzere birden çok sensörden gelen girdilere güvenir. Bu sensörler farklı oranlarda ve ölçeklerde veri üretir. Ön işleme, verileri birleştirmeden önce bu akışları senkronize eder ve yağmur veya parlama gibi çevresel gürültüleri filtreler. autonomous vehicles için bu, algılama sisteminin yola dair tutarlı bir görünüm elde etmesini sağlayarak gerçek zamanlı ortamlarda güvenli seyahati ve güvenilir pedestrian detection özelliğini mümkün kılar.

İlgili Kavramlar#

Veri ön işlemesini makine öğrenimi iş akışında görünen diğer terimlerden ayırmak önemlidir.

• vs. Data Augmentation: Ön işleme verileri model tarafından teknik olarak kullanılabilir hale getirmek için hazırlarken (ör. yeniden boyutlandırma), veri artırımı veri kümesi çeşitliliğini artırmak için mevcut verilerin yeni varyasyonlarını (ör. görüntüleri döndürme veya çevirme) üretir. Daha fazla ayrıntı için YOLO data augmentation kılavuzumuza göz atın.
• vs. Feature Engineering: Ön işleme, temizleme ve biçimlendirme ile ilgilidir. Özellik mühendisliği, boy ve kilo sütunlarından bir "vücut kitle indeksi" hesaplamak gibi model performance değerini artırmak amacıyla verilerden yeni ve anlamlı değişkenler oluşturmayı kapsar.
• vs. Data Labeling: Etiketleme, nesnelerin etrafına bounding boxes çizmek gibi temel gerçeği tanımlama sürecidir. Ön işleme, veri toplama ve etiketleme işlemlerinden sonra ancak veriler neural network içine beslenmeden önce gerçekleşir.

Pratik Örnek#

Ultralytics ekosisteminde ön işleme genellikle eğitim işlem hattı sırasında otomatik olarak gerçekleştirilir. Bununla birlikte, OpenCV gibi kütüphaneleri kullanarak görüntüleri manuel olarak da ön işleme tabi tutabilirsiniz. Aşağıdaki kod parçacığı bir görüntünün yüklenmesini, YOLO26 gibi bir model için standart bir girdi boyutuna yeniden boyutlandırılmasını ve piksel değerlerinin normalize edilmesini gösterir.

import cv2
import numpy as np

# Load an image using OpenCV
image = cv2.imread("bus.jpg")

# Resize the image to 640x640, a standard YOLO input size
resized_image = cv2.resize(image, (640, 640))

# Normalize pixel values from 0-255 to 0-1 for model stability
normalized_image = resized_image / 255.0

# Add a batch dimension (H, W, C) -> (1, H, W, C) for inference
input_tensor = np.expand_dims(normalized_image, axis=0)

print(f"Processed shape: {input_tensor.shape}")

Büyük ölçekli projeler için Ultralytics Platform gibi araçları kullanmak bu iş akışlarını kolaylaştırabilir. Platform, ham veriden dağıtılan modele geçişi hızlandırmak amacıyla birçok ön işleme ve açıklama görevini otomatikleştirerek dataset management sürecini basitleştirir.