Data Mining

Veri madenciliği; büyük veri kümelerindeki birlikte görülen öğeler, doğal gruplar, tahmin kuralları ve sıra dışı kayıtlar gibi yararlı örüntüleri istatistik, makine öğrenimi ve veritabanı tekniklerini kullanarak keşfetme sürecidir. Resmî olarak veri madenciliği, Usama Fayyad, Gregory Piatetsky-Shapiro ve Padhraic Smyth'in 1996'da veri seçimi, veri ön işleme, dönüştürme, madencilik ve sonuçları yorumlama aşamalarından oluşan bir dizi olarak tanımladığı veritabanlarında bilgi keşfi (KDD) sürecinin analiz adımıdır.

Veri Madenciliği Süreci#

Yaygın kullanılan süreç modellerinden CRISP-DM (Veri Madenciliği için Sektörler Arası Standart Süreç), Teradata, Daimler ve NCR'nin de aralarında bulunduğu bir konsorsiyum tarafından ilk kez 1999'da tanıtıldı. Sonraki bir aşama, önceki aşamadaki bir eksikliği ortaya çıkardığında altı aşama birbirine geri döner:

Veri temizleme, kaynakları birleştirme ve özellik mühendisliğini içeren veri hazırlama, genellikle en uzun aşamadır. Bir örüntünün eksik veya yinelenen kayıtlardan kaynaklanan bir yanılsama olduğu anlaşıldığında modelleme aşaması ekibi veri hazırlamaya geri döndürür.

Temel Teknikler#

• Birliktelik kuralı öğrenimi: Pazar sepeti analizinde olduğu gibi birlikte görülen öğeleri veya olayları bulur. Rakesh Agrawal ve Ramakrishnan Srikant'ın 1994 tarihli Apriori algoritması, bu yöntemi büyük işlem veritabanlarında uygulanabilir hâle getirdi.
• k-means veya DBSCAN ile kümeleme: Denetimsiz öğrenmenin bir biçimi olarak, müşteri segmentleri veya benzer görüntüler gibi etiketlenmemiş benzer kayıtları gruplandırır.
• Karar ağaçlarıyla sınıflandırma: Kredi başvurusunu onaylama veya işaretleme gibi, kayıtları etiketli geçmiş verilerden bilinen kategorilere atayan kuralları öğrenir.
• Aykırılık tespiti: Hileli kart işlemleri veya sensör değerleri normalden sapan bir makine gibi, geri kalanlardan belirgin biçimde farklı kayıtları işaretler.
• Sıralı örüntü madenciliği: Satın almaya en sık yol açan sayfa gezinme yolları gibi sıralı örüntüleri bulur.

Birliktelik kuralları üç sayıyla değerlendirilir. Destek, her iki öğeyi de içeren işlemlerin oranıdır; güven, A öğesini içeren işlemler arasında B öğesini de içerenlerin oranıdır; kaldıraç ise güvenin B öğesinin tek başına görülme sıklığına bölünmesiyle bulunur. Bu nedenle 1'in üzerindeki kaldıraç, A ile B'nin şans eseri beklenenden daha sık birlikte görüldüğünü belirtir. Bu örnek, pandas kullanarak sekiz alışveriş sepetindeki her ürün çiftini değerlendirir:

from itertools import permutations

import pandas as pd

# Eight shopping baskets, one column per product
baskets = pd.DataFrame(
    [[1, 1, 0, 1], [1, 1, 0, 0], [0, 1, 1, 0], [1, 1, 1, 1], [1, 0, 0, 1], [0, 0, 1, 0], [1, 1, 0, 1], [0, 1, 1, 0]],
    columns=["bread", "butter", "milk", "jam"],
).astype(bool)

# Score every rule "A -> B" and keep frequent rules that beat chance
for a, b in permutations(baskets.columns, 2):
    support = (baskets[a] & baskets[b]).mean()  # share of baskets with both items
    confidence = support / baskets[a].mean()  # share of A baskets that also hold B
    lift = confidence / baskets[b].mean()  # confidence relative to B's base rate
    if support >= 0.25 and lift > 1:
        print(f"{a} -> {b}: support {support:.2f}, confidence {confidence:.2f}, lift {lift:.2f}")

Dört kural yazdırılır. Ekmek → tereyağı kuralının güveni 0,80 ile yüksek, kaldıracı ise yalnızca 1,07'dir; çünkü tereyağı zaten her dört sepetin üçünde bulunur. Ekmek → reçel kuralının güveni aynıyken kaldıracı 1,60'tır. Süt → tereyağı kuralının güveni 0,75, kaldıracı ise tam olarak 1,00'dır; bu nedenle filtre bu kuralı eler.

Bilgisayarlı Görüde Veri Madenciliği#

Görüntü ve video koleksiyonları, bir model için en önemli örnekleri bulmak üzere taranır. Zor negatif madenciliği, bir algılayıcının yanlışlıkla nesne olarak puanladığı arka plan bölgelerini seçip bunlarla yeniden eğitim yapar; aktif öğrenme ise modelin en az emin olduğu görüntüleri bulmak için etiketsiz havuzları tarar. Dağıtılmış bir sistemin algılama günlüklerini taramak, bir üretim hattında tekrarlayan kusur türlerini veya mağazadaki yoğun saatleri ortaya çıkarır. Gömüler sayesinde ekipler, yinelenen görüntüleri ve eksikleri bulmak için milyonlarca görüntüyü içeriklerine göre kümeleyebilir.

Ultralytics Platform, veri kümelerini bu şekilde kendi Kümeleme paneliyle tarar. Panel, her görüntü için bir gömü hesaplar ve veri kümesini etkileşimli bir 2B dağılım grafiğine yansıtır; görsel olarak benzer görüntüler birbirine yakın konumlanır. Böylece kullanıcılar noktaları bölüme, sınıfa veya kümeye göre renklendirebilir, yinelenenleri ve aykırı değerleri bulabilir, ayrıca bir alanı kementle seçerek bu görüntüleri inceleyebilir, yeniden etiketleyebilir veya taşıyabilir.

Veri Madenciliği ve İlgili Terimler#

• Makine öğrenimi: Yeni verilere genellenebilen modeller oluşturur. Veri madenciliği, mevcut verilerdeki örüntüleri betimlemek amacıyla aynı algoritmaların çoğunu uygular.
• Veri analitiği: Raporlama ve yorumlamanın yanı sıra veri madenciliğini de kapsayan, soruları verilerle yanıtlama uygulamasının genel adıdır.
• Veri görselleştirme: İnsanların okuyabilmesi için verileri ve çıkarılan örüntüleri grafiklerle sunar.
• Web kazıma: Web sitelerinden veri toplar. Yaygın kullanımda bu işleme bazen veri madenciliği denir; ancak teknik anlamda madencilik, veri toplandıktan sonra yapılan analizdir.