Feature Engineering

Özellik mühendisliği, bir makine öğrenmesi modelinin öğrendiği girdi değişkenlerini, yani özellikleri, alan ve veri bilgisinden yararlanarak oluşturma, dönüştürme ve seçme sürecidir. Ham bir zaman damgası günün saatine ve haftanın gününe; kart işlemleri listesi müşterinin son 30 gündeki harcamalarına; bir yolculuğun mesafesi ve süresi ise hızına dönüştürülebilir. İyi seçilmiş özellikler, basit bir modelin başka türlü kaçıracağı örüntüleri yakalamasını sağlar. Özellikler, özellikle modelin yalnızca kendisine verilen sütunları kullanabildiği tablolu ve zaman serisi verilerinde önemlidir. Derin öğrenme modelleri görüntülerden, seslerden ve metinlerden kendi özelliklerini öğrenir; bu da söz konusu alanlarda özellik mühendisliğini veriyi hazırlamaya ve model çıktılarından özellik oluşturmaya yöneltmiştir.

Yaygın Teknikler#

• Ölçekleme ve normalleştirme: Özellikleri sıfır ortalama ve birim varyansa standartlaştırmak, büyük birimlerdeki özelliklerin uzaklık tabanlı modellere ve gradyan tabanlı eğitime baskın gelmesini önler. Logaritmik dönüşüm, gelir veya fiyat gibi çarpık dağılımlı değerleri sıkıştırır.
• Kategorik kodlama: One-hot kodlama, renk gibi bir kategoriyi ikili sütunlara dönüştürür; hedef kodlama ise her kategoriyi o kategorinin hedef ortalamasıyla değiştirir. Kodlamanın her satırın kendi etiketini açığa çıkarmaması için ortalama ayrı katlamalarda hesaplanır.
• Oranlar ve etkileşimler: Borcun gelire oranı, metrekare başına fiyat ve vücut kitle indeksi, iki ham değeri sonucu gerçekten belirleyen niceliğe dönüştürür.
• Tarih ve saat özellikleri: Saat, haftanın günü, ay ve tatil işaretleri döngüleri ortaya çıkarır; saatin sinüs ve kosinüs kodlamaları 23.00'ı 00.00'ın yanına yerleştirir.
• Gecikmeler ve kayan pencereler: Önceki değerler, kayan ortalamalar ve yakın zaman aralıklarındaki sayımlar, modele bir sensörün, hesabın veya ürünün yakın geçmişini verir.
• Gruplama: Sürekli değerleri yaş aralıkları gibi aralıklara ayırmak, basamak benzeri etkileri yakalar ve uç değerlerin etkisini sınırlar.
• PCA ile boyut indirgeme: Temel bileşen analizi, birbiriyle ilişkili çok sayıda özelliği ilişkisiz birkaç özelliğe sıkıştırır.
• Özellik seçimi: Filtre yöntemleri özellikleri hedefle korelasyonlarına veya karşılıklı bilgilerine göre sıralar; sarmalayıcı yöntemler modelle özellik alt kümelerini sınar; L1 düzenlileştirme gibi gömülü yöntemler ise eğitim sırasında özellikleri eler.

Oran özelliği bunun neden işe yaradığını gösterir. Derinliği sınırlı bir karar ağacı her seferinde yalnızca tek bir özellik üzerinden dallanabilir; bu nedenle yalnızca mesafe ve süreden yararlanarak "ortalama hız 90 km/sa değerinin üzerinde" kuralını yaklaşık olarak bile iyi ifade edemez, hız hesaplandığında ise bu kuralı tam olarak ifade eder:

import numpy as np
from sklearn.model_selection import cross_val_score
from sklearn.tree import DecisionTreeClassifier

# 1,000 trips: raw distance (km) and duration (h); label = average speed above 90 km/h
rng = np.random.default_rng(0)
distance = rng.uniform(10, 300, 1000)
hours = rng.uniform(0.5, 4.0, 1000)
y = (distance / hours > 90).astype(int)

raw = np.column_stack([distance, hours])
engineered = (distance / hours).reshape(-1, 1)  # domain knowledge: speed = distance / time

tree = DecisionTreeClassifier(max_depth=2, random_state=0)
for name, X in [("Raw distance and duration", raw), ("Engineered speed", engineered)]:
    print(f"{name}: accuracy {cross_val_score(tree, X, y, cv=5).mean():.3f}")

Aynı derinlik-2 ağacıyla çapraz doğrulama doğruluğu, ham mesafe ve süre değerlerinde 0.861 iken mühendislik ürünü hız özelliğinde 1.000'e yükselir; çünkü mesafe-süre uzayındaki diyagonal sınır, hız üzerinde tek bir eşik değerine dönüşür.

Özellikleri Veri Sızıntısı Olmadan Doğrulama#

Bir özellik, yalnızca tahmin anında değeri biliniyorsa geçerlidir. "İptalden sonraki ayda yapılan destek çağrısı sayısı" özelliğini kullanan bir müşteri kaybı modeli veya tüm veri kümesi üzerinde hesaplanan bir hedef kodlaması testte iyi puan alır, ancak üretimde başarısız olur; bu, veri sızıntısının bir türüdür. Bu nedenle ölçekleyici ortalamaları veya kategori kodlamaları gibi öğrenilen parametrelere sahip her dönüşüm, yalnızca eğitim katlarında uygulanır; scikit-learn işlem hatları bunu otomatik olarak yapar ve her yeni özellik yalnızca çapraz doğrulama puanını iyileştiriyorsa tutulur. Üretim sistemleri ayrıca her özelliği eğitimdekiyle tam olarak aynı şekilde hesaplamalıdır; özellik depoları, aynı özellik tanımlarını her iki tarafa da sunarak bunu sağlar.

Bilgisayarlı Görüde Özellik Mühendisliği#

Klasik bilgisayarlı görü, kenar haritaları, SIFT anahtar nokta tanımlayıcıları ve yönlü gradyan histogramları gibi elle tasarlanmış özelliklere dayanıyordu; ardından destek vektör makineleri gibi sınıflandırıcılar bu özellikleri etiketliyordu. AlexNet 2012'de ImageNet yarışmasını kazandığından beri evrişimli sinir ağları, piksellerden kendi özellik haritalarını öğreniyor; mühendislik çalışmaları ise veri artırma yoluyla eğitim verilerine ve görü modellerinin çıktılarına yöneliyor. Ultralytics SpeedEstimator, YOLO26 nesne izleme çıktısından bir hız özelliği oluşturur: bir izde beş konum bulunduğunda ilk ve son konum arasındaki piksel cinsinden yer değiştirmeyi meter_per_pixel ölçeğiyle metreye çevirir ve km/sa cinsinden sonuç vermek için geçen süreye böler.

Uygulamalar#

• Kredi riski: Kredi veren kuruluşlar, ham hesap kayıtlarından borç-gelir oranını, kredi kullanım oranını ve son gecikmiş ödemeden bu yana geçen ay sayısını çıkarır; bu özellikler temerrüdü ham bakiyelerden daha iyi tahmin eder.
• Kestirimci bakım: Titreşim ve sıcaklık akışlarından hesaplanan hareketli ortalamalar, değişim oranları ve frekans bandı enerjisi, herhangi bir ham ölçüm alarm sınırını aşmadan önce gelişmekte olan aşınmayı ortaya çıkarır.
• Dolandırıcılık tespiti: Geçen saatteki kart işlemlerinin sayısı gibi hız özellikleri ve satın alma konumuyla kart sahibinin alışıldık konumu arasındaki mesafe, dolandırıcılığı normal harcamalardan ayırır.
• Talep tahmini: Perakende modelleri her mağaza ve ürün için geçmiş satış değerlerini, hareketli ortalamaları, fiyat değişikliklerini, promosyon işaretlerini ve tatil göstergelerini birleştirir.

Özellik Mühendisliği ve İlgili Terimler#

• Özellik çıkarımı: PCA veya bir sinir ağının omurgası gibi sabit bir algoritma ya da öğrenilmiş model kullanarak özellikleri otomatik olarak hesaplar. İki terim genellikle birbirinin yerine kullanılır; özellik mühendisliği, alan bilgisiyle yönlendirilen daha geniş süreci kapsar.
• Veri ön işleme: Hataları düzelterek, eksik değerleri doldurarak ve türleri dönüştürerek verileri temizler ve biçimlendirir; bu adım, özellikler tasarlanmadan önce gelir.
• Gömme temsilleri: Modelin eğitim sırasında sözcükleri, görselleri veya kullanıcıları temsil etmek için öğrendiği yoğun vektörlerdir; çoğu dil ve görü sisteminde sözcük sayımları gibi elle oluşturulmuş özelliklerin yerini alırlar.