التنقيب عن البيانات

تقنيات التنقيب عن البيانات الرئيسية

يشمل التنقيب في البيانات مجموعة متنوعة من التقنيات المستخدمة لاستكشاف البيانات وتحليلها من وجهات نظر مختلفة. وتشمل بعض الأساليب الشائعة ما يلي:

• التصنيف: تعيين نقاط البيانات إلى فئات أو فئات محددة مسبقًا. يُستخدم في مهام مثل اكتشاف البريد الإلكتروني غير المرغوب فيه أو تصنيف الصور.
• التجميع: تجميع نقاط البيانات المتشابهة معًا دون معرفة مسبقة بالمجموعات. مفيد لتقسيم العملاء أو تحديد الأنماط المميزة في البيانات البيولوجية. راجع خوارزميات مثل K-Means أو DBSCAN.
• الانحدار: التنبؤ بالقيم العددية المستمرة، مثل التنبؤ بالمبيعات أو تقدير أسعار المنازل. ومن أمثلة ذلك الانحدار الخطي.
• التنقيب عن قواعد الارتباط: اكتشاف العلاقات أو الارتباطات بين العناصر في مجموعات البيانات الكبيرة، ويشتهر استخدامه في تحليل سلة السوق لفهم عادات الشراء.
• اكتشاف الشذوذ: تحديد نقاط البيانات أو الأحداث التي تنحرف بشكل كبير عن القاعدة، وهو أمر بالغ الأهمية للكشف عن الاحتيال أو تحديد القيم المتطرفة في بيانات الاستشعار.
• تقليل الأبعاد: تقليل عدد المتغيرات (السمات) قيد الدراسة مع الحفاظ على المعلومات المهمة، وغالبًا ما يتم ذلك باستخدام تقنيات مثل تحليل المكونات الرئيسية (PCA).

عملية التنقيب عن البيانات

عادةً ما يكون التنقيب عن البيانات عملية تكرارية تنطوي على عدة مراحل:

1. فهم الأعمال: تحديد أهداف المشروع ومتطلباته.
2. فهم البيانات: جمع البيانات الأولية واستكشافها للتعرف على البيانات.
3. إعداد البيانات: ويتضمن ذلك تنظيف البيانات (التعامل مع القيم المفقودة والضوضاء)، وتكامل البيانات (الجمع بين المصادر)، واختيار البيانات (اختيار البيانات ذات الصلة)، والمعالجة المسبقة للبيانات (تنسيق البيانات). يمكن أيضًا تطبيق زيادة البيانات هنا.
4. النمذجة: اختيار وتطبيق تقنيات التنقيب المختلفة (مثل التصنيف والتجميع) لتحديد الأنماط. وغالباً ما يتضمن ذلك استخدام خوارزميات التعلم الآلي.
5. التقييم: تقييم الأنماط المكتشفة من حيث الصلاحية والجدة والفائدة وقابلية الفهم. وغالباً ما تُستخدم مقاييس مثل الدقة أو mAP.
6. النشر: الاستفادة من المعرفة المكتشفة في اتخاذ القرارات، وغالباً ما يتم دمجها في الأنظمة التشغيلية أو الإبلاغ عن النتائج. وقد يشمل ذلك نشر النموذج.

التنقيب عن البيانات مقابل المفاهيم ذات الصلة

على الرغم من ارتباطها ببعضها، إلا أن التنقيب عن البيانات يختلف عن المجالات الأخرى التي تركز على البيانات:

• تحليلات البيانات: تحليلات البيانات هو مصطلح أوسع نطاقًا يشمل العملية الكاملة لفحص البيانات وتنظيفها وتحويلها ونمذجتها لدعم عملية صنع القرار. أما التنقيب في البيانات فهو خطوة محددة ضمن تحليلات البيانات تركز على اكتشاف أنماط جديدة وخفية. وغالبًا ما تركز التحليلات على الإحصاءات الوصفية والعلاقات المعروفة، بينما يبحث التنقيب عن المجهول.
• التعلم الآلي (ML): التعلم الآلي هو مجال من مجالات الذكاء الاصطناعي يركز على تطوير خوارزميات تسمح للأنظمة بالتعلم من البيانات. ويستخدم التنقيب عن البيانات خوارزميات تعلّم الآلة كأدوات لاكتشاف الأنماط، لكن تعلّم الآلة نفسه أوسع نطاقًا، حيث يشمل إنشاء وتطبيق خوارزميات التعلّم لمختلف المهام (التنبؤ والتصنيف وما إلى ذلك). هدف التنقيب عن البيانات هو في المقام الأول اكتشاف المعرفة من البيانات.
• البيانات الضخمة: تشير البيانات الضخمة إلى مجموعات البيانات التي تتميز بالحجم الكبير والسرعة العالية والتنوع الواسع. وتعد تقنيات التنقيب عن البيانات ضرورية لاستخراج القيمة من البيانات الضخمة، ولكن البيانات الضخمة نفسها تصف طبيعة البيانات وليس عملية التحليل. وغالبًا ما تُستخدم أدوات مثل Apache Spark لاستخراج البيانات الضخمة.

تطبيقات الذكاء الاصطناعي/التعلم الآلي في العالم الحقيقي

يقود التنقيب عن البيانات الابتكار في العديد من القطاعات:

1. تجارة التجزئة والتجارة الإلكترونية: يستخدم تجار التجزئة التنقيب عن قواعد الارتباط (تحليل سلة السوق) على بيانات المعاملات لاكتشاف المنتجات التي يتم شراؤها معًا بشكل متكرر. وتفيد هذه الرؤية في تصميم تخطيط المتجر، والعروض الترويجية المستهدفة، وتشغيل أنظمة التوصيات عبر الإنترنت ("العملاء الذين اشتروا X اشتروا أيضًا Y"). ويساعد ذلك على تحسين إدارة المخزون القائمة على الذكاء الاصطناعي وإضفاء الطابع الشخصي على تجارب العملاء، كما هو الحال في منصات مثل Amazon.
2. الرعاية الصحية: تعمل تقنيات التنقيب عن البيانات مثل التصنيف والتجميع على تحليل سجلات المرضى (السجلات الصحية الإلكترونية) والصور الطبية لتحديد الأنماط المرتبطة بالأمراض، أو التنبؤ بعوامل الخطر لدى المرضى، أو تقييم فعالية العلاج. على سبيل المثال، يمكن أن يساعد التنقيب عن البيانات التشخيصية في الكشف المبكر عن حالات مثل السرطان (على سبيل المثال، باستخدام مجموعات بيانات مثل مجموعة بيانات أورام الدماغ) أو التنبؤ بإعادة إدخال المرضى إلى المستشفى، مما يساهم في تحسين رعاية المرضى وتخصيص الموارد داخل مؤسسات مثل المعاهد الوطنية للصحة. استكشف الذكاء الاصطناعي في حلول الرعاية الصحية لمزيد من الأمثلة.

التنقيب عن البيانات و Ultralytics

في شركة Ultralytics تدعم مبادئ التنقيب عن البيانات العديد من جوانب تطوير ونشر أحدث نماذج الرؤية الحاسوبية مثل Ultralytics YOLO. يتطلب تدريب نماذج قوية لمهام مثل اكتشاف الأجسام أو تجزئة الصور بيانات عالية الجودة ومفهومة جيدًا. تُعد تقنيات التنقيب عن البيانات ضرورية أثناء المعالجة المسبقة للبيانات وجمع البيانات والتعليق التوضيحي لتنظيف البيانات وتحديد التحيزات(تحيز مجموعة البيانات) واختيار الميزات ذات الصلة، مما يؤدي في النهاية إلى تحسين دقة النموذج.

علاوة على ذلك، يوفر Ultralytics HUB منصة يمكن للمستخدمين من خلالها إدارة مجموعات البيانات وتدريب النماذج. تعمل الأدوات الموجودة داخل منظومة HUB على تسهيل استكشاف وفهم مجموعات البيانات، مما يسمح للمستخدمين بتطبيق مفاهيم التنقيب عن البيانات لتحسين سير عمل التعلم الآلي الخاص بهم والاستفادة من تقنيات مثل زيادة البيانات بشكل فعال. يعد فهم البيانات من خلال التنقيب أمرًا بالغ الأهمية قبل القيام بخطوات مثل ضبط المعلمة الفائقة. يمكنك معرفة المزيد عن دور التعلم الآلي والتنقيب عن البيانات في الرؤية الحاسوبية في مدونتنا. أطر عمل مثل PyTorch ومكتبات مثل OpenCV هي أدوات أساسية تُستخدم إلى جانب هذه العمليات.