Data Blending

Veri harmanlama, iki veya daha fazla ayrı kaynaktan gelen verileri genellikle her kaynağı tarih, mağaza veya bölge gibi ortak bir bağlantı alanında birleştirip eşleştirerek tek bir görünümde ya da veri kümesinde toplar. Terim, bir harmanlamanın bir sistemdeki aylık pazarlama bütçesini başka bir sistemdeki günlük satışların yanına, ikisini önce tek bir veritabanına yüklemeden yerleştirdiği iş zekâsı araçlarından gelir. Makine öğrenmesinde harmanlama, gerçek görüntüleri sentetik verilerle veya halka açık bir ölçüt veri kümesini şirketin kendi kameralarından alınan görüntülerle birleştirip tek bir eğitim kümesi oluşturma anlamında da kullanılır.

Veri Harmanlama Nasıl Çalışır#

Tableau uygulamasında, bir görünümde kullanılan ilk kaynak birincil kaynaktır ve görünümü tanımlar. Her ikincil kaynak ayrı ayrı sorgulanır, bağlantı alanlarının düzeyinde birleştirilir ve eşleşen satırlara eklenir. Sonuç, zamanlama farkıyla sol birleştirme gibi davranır: birleştirme satırları bir araya getirip sonra toplulaştırırken, harmanlama her kaynağı önce toplulaştırıp sonra birleştirir. Kaynakların ayrıntı düzeyi farklıysa bu sıra önem kazanır; günlük gelir ve aylık reklam harcamasını gösteren şu pandas örneğinde olduğu gibi:

import numpy as np
import pandas as pd

# Source 1: daily revenue from a store database
rng = np.random.default_rng(0)
orders = pd.DataFrame({"date": pd.date_range("2026-01-01", "2026-03-31")})
orders["revenue"] = rng.integers(200, 400, len(orders))
orders["month"] = orders["date"].dt.strftime("%Y-%m")

# Source 2: monthly ad spend from a marketing tool
ads = pd.DataFrame({"month": ["2026-01", "2026-02", "2026-03"], "ad_spend": [3000, 2000, 4000]})

# A row-level join copies each month's spend onto every daily row
joined = orders.merge(ads, on="month")
print(f"ad spend after a row-level join: {joined['ad_spend'].sum():,}")

# A blend aggregates to the linking field (month) first, then combines the sources
blended = orders.groupby("month", as_index=False)["revenue"].sum().merge(ads, on="month", how="left")
blended["revenue_per_ad_dollar"] = (blended["revenue"] / blended["ad_spend"]).round(2)
print(blended)

Satır düzeyindeki birleştirme, aylık bütçe 28 ila 31 günlük satırın her birinde tekrarlandığı için gerçek 9.000 yerine 273.000 reklam harcaması bildirir. Harmanlama ay başına tek satır tutar ve ocak için reklam doları başına 3,17, şubat için 4,06, mart için 2,41 gelir verir.

Kaynakların farklı sistemlerde bulunduğu ve tek bir soruyu yanıtlamak için birleştirilmeleri gereken keşif amaçlı veri analitiği ve veri görselleştirme panoları için harmanlama uygundur. Bağlantı alanındaki değerler tam olarak eşleşmelidir; dolayısıyla bir kaynakta "Lt. Blue" yer alıyorsa adlar temizlenene veya diğer adlar tanımlanana kadar başka bir kaynaktaki "Light Blue" ile eşleşmez.

Eğitim Veri Kümelerini Harmanlama#

Makine öğrenimi ekipleri, herhangi bir tek kaynağın kapsadığından daha fazla koşulu kapsamak için veri kümelerini harmanlar. Büyük dil modelleri bu tür karışımlar üzerinde eğitilir: EleutherAI'nin 2020'de yayımladığı The Pile, akademik makalelerden koda kadar 22 kaynağı, her kaynak için kendine ait örnekleme ağırlığı bulunan 825 GiB'lık bir İngilizce metin derleminde birleştirir. Bilgisayarlı görü alanında farklı kameralardan, bölgelerden ve mevsimlerden gelen veri kümelerini harmanlamak, tek bir ortama aşırı uyumu azaltır ve veri kümesi yanlılığını dengeler.

Bir eğitim veri karışımı da iş zekâsı harmanlamasıyla aynı uzlaştırma işlemini gerektirir. Sınıf adları tek bir sınıflandırmaya eşlenmelidir; böylece "car", "automobile" ve "vehicle" tek sınıfa dönüştürülür veya bilerek ayrı tutulur. Kaynaklardan biri örtülü bir kişinin görünen kısmını sınırlayan sınırlayıcı kutu çizerken diğeri kişinin tüm dış hatlarını kutulayabileceğinden, veri etiketleme biçimleri ve kuralları uyuşmalıdır. Veri temizleme, birden fazla kaynakta bulunan görüntüleri kaldırır. Ekipler test verilerini dağıtım alanından seçer; böylece ölçütler karışımdaki en kolay kaynağı değil hedef ortamı yansıtır.

Ultralytics YOLO, eğitim sırasında kaynakları veri kümesi YAML dosyası üzerinden harmanlar. Dosyanın train alanı, görüntü dizinlerinin listesini veya görüntü yollarını içeren bir .txt dosyasını kabul eder. Böylece val yalnızca gerçek görüntüleri listelerken tek bir eğitim çalıştırması hem gerçek hem de sentetik veri kümelerinden örnek alabilir.

Veri Harmanlama ve İlgili Terimler#

• Veri birleştirme: Tek bir sorguda eşleşen anahtarlara göre kayıtları satır satır birleştirir ve bunu toplulaştırmadan önce yapar; kaynakların ayrıntı düzeyleri farklı olduğunda değerleri çoğaltır.
• Veri tümleştirme: Kaynakları ortak bir şemayla veri ambarında veya veri gölünde kalıcı olarak birleştirir; bu işlem genellikle çıkarma, dönüştürme ve yükleme (ETL) iş hatlarıyla yapılır.
• Topluluk öğrenmesinde harmanlama: Birden fazla modelin tahminlerini, ayrılmış bir küme üzerinde eğitilmiş bir üst model aracılığıyla birleştirir. Bu yaklaşım, Netflix Prize'ı kazanan başvuruların temelindeydi ve veri kaynaklarını birleştirmekle ilgisi yoktur.