Data Mining

تنقيب البيانات هو عملية اكتشاف أنماط مفيدة في مجموعات البيانات الكبيرة، مثل العناصر التي تظهر معًا والمجموعات الطبيعية والقواعد التنبؤية والسجلات غير المألوفة، وذلك باستخدام الإحصاء والتعلم الآلي وتقنيات قواعد البيانات. ومن الناحية الرسمية، يُعد تنقيب البيانات خطوة التحليل في اكتشاف المعرفة في قواعد البيانات (KDD)، الذي وصفه أسامة فياض وغريغوري بياتيتسكي-شابيرو وبادرايك سميث عام 1996 بوصفه سلسلة من اختيار البيانات والمعالجة المسبقة للبيانات وتحويلها وتنقيبها وتفسير نتائجها.

عملية تنقيب البيانات#

من نماذج العمليات واسعة الاستخدام CRISP-DM، أي العملية القياسية العابرة للصناعات لتنقيب البيانات، التي عرضها لأول مرة عام 1999 ائتلاف ضم Teradata وDaimler وNCR. وتتكرر مراحلها الست بالعودة إلى مراحل سابقة كلما كشفت مرحلة لاحقة عن فجوة فيها:

يُعد إعداد البيانات، الذي يشمل تنظيف البيانات ودمج المصادر وهندسة الميزات، عادةً أطول المراحل، وتعيد النمذجة الفريق إلى هذه المرحلة كلما اتضح أن نمطًا ما ناتج عن سجلات مفقودة أو مكررة.

التقنيات الأساسية#

• تعلّم قواعد الارتباط: يعثر على العناصر أو الأحداث التي تظهر معًا، كما في تحليل سلة المشتريات. جعلت خوارزمية Apriori التي ابتكرها راكيش أغراوال وراماكريشنان سريكانت عام 1994 تطبيق ذلك عمليًا على قواعد بيانات المعاملات الكبيرة.
• التجميع باستخدام k-means أو DBSCAN: يجمع السجلات المتشابهة من دون تسميات، مثل شرائح العملاء أو الصور المتشابهة، بوصفه شكلًا من أشكال التعلم غير الخاضع للإشراف.
• التصنيف باستخدام أشجار القرار: يتعلم قواعد تسند السجلات إلى فئات معروفة، مثل الموافقة على طلب قرض أو الإبلاغ عنه، بالاستناد إلى سجلات موسومة.
• اكتشاف الشذوذ: يحدد السجلات التي تختلف اختلافًا كبيرًا عن بقية السجلات، مثل معاملات البطاقات الاحتيالية أو انحراف قراءات مستشعر آلة عن القيم الطبيعية.
• تنقيب الأنماط التسلسلية: يعثر على الأنماط المرتبة، مثل مسارات الصفحات التي تؤدي غالبًا إلى عملية شراء.

تُقيّم قواعد الارتباط بثلاثة أرقام. الدعم هو نسبة المعاملات التي تتضمن العنصرين معًا، والثقة هي نسبة المعاملات التي تتضمن العنصر A وتتضمن أيضًا العنصر B، والرفع يقسم الثقة على مدى شيوع B منفردًا؛ لذا يعني الرفع الأعلى من 1 أن A وB يظهران معًا أكثر مما يتوقعه الحظ. يقيّم هذا المثال كل زوج من المنتجات في ثماني سلال تسوق باستخدام pandas:

from itertools import permutations

import pandas as pd

# Eight shopping baskets, one column per product
baskets = pd.DataFrame(
    [[1, 1, 0, 1], [1, 1, 0, 0], [0, 1, 1, 0], [1, 1, 1, 1], [1, 0, 0, 1], [0, 0, 1, 0], [1, 1, 0, 1], [0, 1, 1, 0]],
    columns=["bread", "butter", "milk", "jam"],
).astype(bool)

# Score every rule "A -> B" and keep frequent rules that beat chance
for a, b in permutations(baskets.columns, 2):
    support = (baskets[a] & baskets[b]).mean()  # share of baskets with both items
    confidence = support / baskets[a].mean()  # share of A baskets that also hold B
    lift = confidence / baskets[b].mean()  # confidence relative to B's base rate
    if support >= 0.25 and lift > 1:
        print(f"{a} -> {b}: support {support:.2f}, confidence {confidence:.2f}, lift {lift:.2f}")

يطبع المثال أربع قواعد. تتمتع القاعدة خبز ← زبدة بثقة مرتفعة تبلغ 0.80، لكن رفعها لا يتجاوز 1.07، لأن الزبدة موجودة أصلًا في ثلاثة أرباع السلال، بينما تحقق القاعدة خبز ← مربى الثقة نفسها ورفعًا يبلغ 1.60. أما قاعدة حليب ← زبدة فتبلغ ثقتها 0.75 ورفعها 1.00 تمامًا، لذا يستبعدها المرشح.

تنقيب البيانات في الرؤية الحاسوبية#

تُنقّب مجموعات الصور والفيديو للعثور على الأمثلة الأهم للنموذج. ينتقي تنقيب السلبيات الصعبة مناطق الخلفية التي يخطئ الكاشف في تصنيفها كأجسام، ويعيد التدريب عليها، بينما ينقّب التعلّم النشط في مجموعات البيانات غير الموسومة للعثور على الصور الأقل يقينًا لدى النموذج. ويكشف تنقيب سجلات الكشف في نظام منشور عن أنواع العيوب المتكررة في خط التصنيع أو ساعات الذروة في متجر، كما تتيح التضمينات للفرق تجميع ملايين الصور حسب المحتوى للعثور على المكررات والفجوات.

تُنقّب منصة Ultralytics مجموعات البيانات بهذه الطريقة عبر لوحة التجميع، التي تحسب تضمينًا لكل صورة وتسقط مجموعة البيانات على مخطط مبعثر تفاعلي ثنائي الأبعاد، بحيث تظهر الصور المتشابهة بصريًا متقاربة. ويتيح ذلك للمستخدمين تلوين النقاط حسب المجموعة أو الفئة أو العنقود، واكتشاف المكررات والقيم الشاذة، وتحديد منطقة بأداة التحديد الحر لفحص تلك الصور أو إعادة توسيمها أو نقلها.

تنقيب البيانات مقارنةً بالمصطلحات ذات الصلة#

• التعلم الآلي: ينشئ نماذج تعمم على بيانات جديدة. ويطبّق تنقيب البيانات كثيرًا من الخوارزميات نفسها بهدف وصف الأنماط في البيانات الموجودة.
• تحليلات البيانات: ممارسة أوسع للإجابة عن الأسئلة باستخدام البيانات، وتشمل تنقيب البيانات إلى جانب إعداد التقارير والتفسير.
• تصور البيانات: يعرض البيانات والأنماط المستخرجة بصريًا كي يتمكن الأشخاص من قراءتها.
• استخراج بيانات الويب: يجمع البيانات من مواقع الويب. ويُطلق الاستخدام الشائع أحيانًا على ذلك اسم تنقيب البيانات، لكن التنقيب بالمعنى التقني هو التحليل الذي يلي الجمع.