Data Visualization

التصور المرئي للبيانات هو تمثيل البيانات رسوميًا، إذ تُشفَّر القيم بمواضع أو أطوال أو ألوان أو أشكال في المخططات والرسوم والخرائط والصور المشروحة، كي يتمكن الأشخاص من رؤية الأنماط والقيم الشاذة والأخطاء التي تخفيها جداول الأرقام. يساعد التصور الاستكشافي المحلل على فهم البيانات أثناء تحليل البيانات الاستكشافي، وهو نهج دافع عنه John Tukey في كتابه الصادر عام 1977 بالعنوان نفسه، بينما يهدف التصور التفسيري إلى إيصال نتيجة إلى الآخرين. وفي التعلّم الآلي والرؤية الحاسوبية، يستخدمه المختصون لتدقيق مجموعات البيانات، ومتابعة التدريب، وتشخيص أخطاء النماذج، وتفسير التنبؤات.

أهمية التصور المرئي#

أوضح الإحصائي Francis Anscombe الفكرة عام 1973 باستخدام أربع مجموعات بيانات صغيرة، تُعرف الآن باسم رباعية Anscombe، وتتشارك في إحصاءات موجزة متطابقة تقريبًا:

import matplotlib.pyplot as plt
import numpy as np

# Anscombe's quartet: four datasets of 11 (x, y) points each
x = [10, 8, 13, 9, 11, 14, 6, 4, 12, 7, 5]
quartet = {
    "I": (x, [8.04, 6.95, 7.58, 8.81, 8.33, 9.96, 7.24, 4.26, 10.84, 4.82, 5.68]),
    "II": (x, [9.14, 8.14, 8.74, 8.77, 9.26, 8.10, 6.13, 3.10, 9.13, 7.26, 4.74]),
    "III": (x, [7.46, 6.77, 12.74, 7.11, 7.81, 8.84, 6.08, 5.39, 8.15, 6.42, 5.73]),
    "IV": ([8] * 7 + [19] + [8] * 3, [6.58, 5.76, 7.71, 8.84, 8.47, 7.04, 5.25, 12.50, 5.56, 7.91, 6.89]),
}

# Print each dataset's summary statistics and draw its scatter plot side by side
fig, axes = plt.subplots(1, 4, figsize=(12, 3), sharex=True, sharey=True)
for ax, (name, (xs, ys)) in zip(axes, quartet.items()):
    r = np.corrcoef(xs, ys)[0, 1]
    print(f"{name}: mean y {np.mean(ys):.2f}, variance y {np.var(ys, ddof=1):.2f}, correlation {r:.3f}")
    ax.scatter(xs, ys)
    ax.set_title(f"Dataset {name}")
fig.savefig("anscombe.png")

تُظهر المجموعات الأربع متوسط y البالغ 7.50، وتباينًا قدره 4.12 أو 4.13، وارتباطًا قدره 0.816 أو 0.817، ومع ذلك تبدو الرسوم المحفوظة مختلفة تمامًا: تُظهر مجموعة البيانات I اتجاهًا خطيًا كثير الضوضاء، والثانية منحنى سلسًا، والثالثة خطًا مثاليًا مع قيمة شاذة واحدة، والرابعة كومة عمودية من النقاط، يأتي ارتباطها بالكامل من نقطة واحدة بعيدة. ووسّع باحثون في Autodesk الفكرة عام 2017 باستخدام Datasaurus Dozen، وهي ثلاث عشرة مجموعة بيانات لها الإحصاءات نفسها، ويُظهر أحد رسومها ديناصورًا.

اختيار المخطط#

ينجح المخطط عندما يتوافق ترميزه مع السؤال. تناسب المخططات الشريطية المقارنات بين الفئات، والمخططات الخطية الاتجاهات عبر الزمن، والمدرجات التكرارية والمخططات الصندوقية التوزيعات، والمخططات المبعثرة العلاقات بين متغيرين، والخرائط والخرائط الحرارية الأنماط المكانية. وفي تجارب الإدراك الرسومي التي أجرياها عام 1984، وجَد William Cleveland وRobert McGill أن الناس يقيّمون الموضع على مقياس مشترك بأكبر دقة، يليه الطول ثم الزاوية فالمساحة وأخيرًا تظليل اللون؛ ولهذا تتفوق المخططات الشريطية ومخططات النقاط على المخططات الدائرية في المقارنات الدقيقة. وتُعرض الفئات والمقادير اللونية على أفضل وجه باستخدام خرائط ألوان موحّدة إدراكيًا ومناسبة لعمى الألوان، مثل viridis، وهي الخريطة الافتراضية في Matplotlib منذ الإصدار 2.0.

التصور المرئي في التعلّم الآلي#

• تدقيقات تحيز مجموعة البيانات: تكشف مدرجات الفئات عن اختلال التوازن، وتُظهر خرائط مواضع الصناديق وأحجامها الكائنات التي تظهر دائمًا في منطقة واحدة أو بمقياس واحد، كما تكشف شبكات الصور أخطاء التسميات.
• منحنيات دالة الخسارة: تُظهر رسوم خسارة التدريب والتحقق حسب الحقبة التقارب، وتشير زيادة خسارة التحقق بالتزامن مع انخفاض خسارة التدريب إلى فرط التكيّف.
• مصفوفات الالتباس ومنحنيات الدقة والاستدعاء: توضح الفئات التي يخلط النموذج بينها، وكيف تتبادل الدقة والاستدعاء الأدوار مع تغيّر عتبة الثقة.
• خرائط التضمينات باستخدام t-SNE: تضع الإسقاطات، مثل t-SNE، العينات المتشابهة بالقرب من بعضها في بُعدين، فتُظهر العناقيد والتكرارات والقيم الشاذة.
• خرائط البروز وتراكبات التنبؤ: ترسم الصناديق أو الأقنعة أو النقاط المفتاحية على الصور، وتبرز وحدات البكسل التي أثّرت في القرار.

ترسم أدوات تتبع التجارب، مثل TensorBoard وWeights & Biases، هذه المقاييس مباشرةً عبر عمليات تدريب كثيرة، فيظهر فرط التكيّف بمجرد بدء خسارة التحقق بالارتفاع. ويحفظ Ultralytics YOLO أيضًا الرسوم الأساسية افتراضيًا في مجلد كل عملية تدريب: يعرض labels.jpg أعداد مثيلات الفئات، وعينة من أشكال الصناديق، ومدرجات تكرارية ثنائية الأبعاد لمراكز الصناديق المحيطة ولعروض الصناديق مقارنة بارتفاعاتها، بينما يرسم results.png كل خسارة ومقياس حسب الحقبة، ويضيف التحقق مصفوفات الالتباس ومنحنيات الدقة والاستدعاء.

التصور المرئي للبيانات والمصطلحات ذات الصلة#

• تحليلات البيانات: العملية الأوسع لفحص البيانات وتنظيفها ونمذجتها للإجابة عن الأسئلة. ويُعد التصور المرئي إحدى أدواتها الأساسية للاستكشاف وعرض النتائج.
• الذكاء الاصطناعي القابل للتفسير (XAI): يفسر سبب اتخاذ النموذج قرارًا ما، وتُعد التصورات المرئية، مثل خرائط البروز، من مخرجاته الأساسية.
• تنقيب البيانات: يستخدم الخوارزميات لاكتشاف الأنماط تلقائيًا في مجموعات البيانات الكبيرة، وغالبًا ما يعرض التصور المرئي الأنماط التي يعثر عليها.
• لوحات المعلومات: مجموعات من المخططات على شاشة واحدة لمتابعة المقاييس الأساسية بمرور الوقت، وهي شائعة في أدوات ذكاء الأعمال وفي مراقبة النماذج المستخدمة في الإنتاج.