Data Blending

يجمع مزج البيانات بيانات من مصدرين منفصلين أو أكثر في عرض واحد أو مجموعة بيانات واحدة، عادةً عبر تجميع كل مصدر بحسب حقل ربط مشترك، مثل التاريخ أو المتجر أو المنطقة، قبل المطابقة بينها. ويأتي المصطلح من أدوات ذكاء الأعمال، إذ يتيح المزج إظهار ميزانية تسويق شهرية من نظام إلى جانب المبيعات اليومية من نظام آخر، من دون تحميل كليهما أولًا إلى قاعدة بيانات واحدة. وفي تعلم الآلة، يصف المزج أيضًا دمج عدة مجموعات بيانات في مجموعة تدريب واحدة، مثل الصور الحقيقية مع البيانات الاصطناعية، أو مجموعة بيانات معيارية عامة مع صور من كاميرات شركة خاصة.

آلية مزج البيانات#

في تطبيق Tableau، يكون المصدر الأول المستخدم في العرض هو المصدر الأساسي، وهو الذي يحدد العرض؛ أما كل مصدر ثانوي فيُستعلم عنه على حدة، ويُجمع على مستوى حقول الربط، ثم تُضاف بياناته إلى الصفوف المطابقة. وتتصرف النتيجة كعملية ربط يساري، مع اختلاف واحد في التوقيت: إذ تجمع عملية الربط الصفوف ثم تحسب الإجماليات، بينما يجمع المزج كل مصدر أولًا ثم يدمج المصادر. ويهم هذا الترتيب عندما تختلف دقة المصادر، كما يوضح مثال pandas هذا للإيرادات اليومية والإنفاق الإعلاني الشهري:

import numpy as np
import pandas as pd

# Source 1: daily revenue from a store database
rng = np.random.default_rng(0)
orders = pd.DataFrame({"date": pd.date_range("2026-01-01", "2026-03-31")})
orders["revenue"] = rng.integers(200, 400, len(orders))
orders["month"] = orders["date"].dt.strftime("%Y-%m")

# Source 2: monthly ad spend from a marketing tool
ads = pd.DataFrame({"month": ["2026-01", "2026-02", "2026-03"], "ad_spend": [3000, 2000, 4000]})

# A row-level join copies each month's spend onto every daily row
joined = orders.merge(ads, on="month")
print(f"ad spend after a row-level join: {joined['ad_spend'].sum():,}")

# A blend aggregates to the linking field (month) first, then combines the sources
blended = orders.groupby("month", as_index=False)["revenue"].sum().merge(ads, on="month", how="left")
blended["revenue_per_ad_dollar"] = (blended["revenue"] / blended["ad_spend"]).round(2)
print(blended)

تعرض عملية الربط على مستوى الصفوف إنفاقًا إعلانيًا قدره 273,000 بدلًا من المبلغ الصحيح البالغ 9,000، لأن ميزانية كل شهر تتكرر في صفوفه اليومية الـ28 إلى 31. أما المزج فيُبقي صفًا واحدًا لكل شهر، ويعيد إيرادًا لكل دولار إعلاني قدره 3.17 في يناير و4.06 في فبراير و2.41 في مارس.

يناسب المزج تحليلات البيانات الاستكشافية ولوحات تصور البيانات، حيث توجد المصادر في أنظمة مختلفة ويكون الجمع بينها مطلوبًا للإجابة عن سؤال واحد. ويجب أن تتطابق قيم حقل الربط تمامًا، لذا لن يرتبط «Lt. Blue» في أحد المصادر بـ«Light Blue» في مصدر آخر حتى تُنظف الأسماء أو تُضاف لها أسماء بديلة.

مزج مجموعات بيانات التدريب#

تمزج فرق تعلم الآلة مجموعات البيانات لتغطية ظروف أكثر مما يوفره أي مصدر بمفرده. وتُدرّب نماذج اللغة الكبيرة على مثل هذه الخلطات: إذ تجمع The Pile، التي أصدرتها EleutherAI عام 2020، بين 22 مصدرًا يتراوح محتواها من الأوراق الأكاديمية إلى الشيفرات البرمجية، في مدونة نصية إنجليزية حجمها 825 GiB، مع وزن أخذ عينات خاص بكل مصدر. وفي الرؤية الحاسوبية، يقلل مزج مجموعة بيانات من كاميرات ومناطق وفصول متعددة من فرط التكيّف مع بيئة واحدة، ويحد من تحيز مجموعة البيانات.

يتطلب مزج بيانات التدريب تسوية مماثلة لما يتطلبه مزج ذكاء الأعمال. إذ يجب مواءمة أسماء الفئات مع تصنيف موحد، بحيث تصبح «سيارة» و«automobile» و«مركبة» فئة واحدة، أو تُترك منفصلة عمدًا. ويجب أن تتوافق تنسيقات تعليق البيانات واصطلاحاته، إذ قد يرسم أحد المصادر مربع إحاطة حول الجزء المرئي من شخص محجوب، بينما يحيط مصدر آخر بالشخص كاملًا؛ كما تزيل تنقية البيانات الصور الموجودة في أكثر من مصدر. وتختار الفرق بيانات الاختبار من نطاق النشر، كي تعكس المقاييس البيئة المستهدفة بدلًا من أسهل مصدر في المزيج.

يمزج Ultralytics YOLO المصادر في وقت التدريب عبر ملف YAML لمجموعة البيانات، إذ يقبل الحقل train قائمة بمجلدات الصور أو ملف .txt لمسارات الصور، ما يتيح لتشغيل تدريب واحد استخدام مجموعة بيانات حقيقية وأخرى اصطناعية، بينما لا يسرد val إلا الصور الحقيقية.

مزج البيانات والمصطلحات ذات الصلة#

• ربط البيانات: يجمع السجلات صفًا بصف وفق المفاتيح المتطابقة ضمن استعلام واحد، قبل أي تجميع، ما يكرر القيم عندما تختلف المصادر في مستوى التفاصيل.
• تكامل البيانات: يدمج المصادر بصورة دائمة في مستودع بيانات أو بحيرة بيانات ذات مخطط مشترك، عادةً عبر مسارات الاستخراج والتحويل والتحميل (ETL).
• المزج في التعلم التجميعي: يجمع تنبؤات عدة نماذج عبر نموذج فوقي مدرب على مجموعة بيانات محجوزة؛ وهو النهج الذي اعتمدت عليه المشاركات الفائزة بجائزة Netflix Prize، ولا علاقة له بدمج مصادر البيانات.