التنقيب عن البيانات

التنقيب في البيانات هو عملية اكتشاف الأنماط والارتباطات والحالات الشاذة داخل مجموعات البيانات الكبيرة لاستخراج معلومات قيّمة وغير معروفة من قبل. وهو يعمل كخطوة استكشافية حاسمة تعمل على تحويل البيانات الخام إلى بنية قابلة للفهم، وغالباً ما يكون بمثابة الأساس للنمذجة التنبؤية ومهام التعلم الآلي (ML). ومن خلال الاستفادة من تقنيات من الإحصاءات وأنظمة قواعد البيانات والذكاء الاصطناعي، يساعد التنقيب عن البيانات في الكشف عن الرؤى الخفية التي يمكن أن تفيد استراتيجيات الأعمال والبحث العلمي والابتكار التكنولوجي.

كيف يعمل التنقيب عن البيانات

غالبًا ما يتم تنظيم عملية التنقيب عن البيانات وفقًا لأطر عمل مثل العملية القياسية المشتركة بين القطاعات لاستخراج البيانات (CRISP-DM). وتشمل المراحل النموذجية ما يلي:

1. جمع البيانات وتكاملها: جمع البيانات من مصادر مختلفة، والتي قد تشمل قواعد بيانات منظمة أو نصوص غير منظمة أو صور من بحيرة بيانات.
2. المعالجة المسبقة للبيانات: ويتضمن ذلك تنظيف البيانات للتعامل مع القيم المفقودة أو غير المتسقة وتحويل البيانات لتطبيع البيانات أو تجميعها لتحليلها. يمكن أيضًا استخدام زيادة البيانات في هذه المرحلة لإثراء مجموعة البيانات.
3. اكتشاف الأنماط والنمذجة: تطبيق الخوارزميات لتحديد الأنماط. تشمل المهام الشائعة التصنيف، والتجميع(K-Means)، والانحدار، واستخراج قواعد الارتباط. هذه هي المرحلة التي تُستخدم فيها خوارزميات تعلّم الآلة بكثافة.
4. التقييم والتفسير: تقييم الأنماط المكتشفة لمعرفة مدى صحتها وفائدتها. ويُعد تصوير البيانات أداة رئيسية هنا، حيث يساعد على جعل النتائج مفهومة.
5. نشر المعرفة: دمج المعرفة المكتشفة في الأنظمة التشغيلية، مثل محرك التوصيات أو نظام كشف الاحتيال.

تطبيقات الذكاء الاصطناعي والرؤية الحاسوبية في العالم الحقيقي

يُعد التنقيب عن البيانات أمرًا أساسيًا لتطوير الأنظمة الذكية في العديد من الصناعات.

• الذكاء الاصطناعي في البيع بالتجزئة وتحليل سلة السوق: يقوم تجار التجزئة بالتنقيب في سجلات المعاملات الضخمة لاكتشاف المنتجات التي يتم شراؤها معًا بشكل متكرر. على سبيل المثال، يمكن أن يؤدي اكتشاف أن العملاء الذين يشترون الخبز غالبًا ما يشترون الحليب أيضًا (قاعدة ارتباط) إلى توجيه استراتيجيات وضع المنتجات وتجميع العروض الترويجية والإعلانات المستهدفة. يغذي هذا التحليل لسلوك العملاء أيضًا أنظمة التوصيات المخصصة. تعرف على المزيد حول كيفية تحقيق الذكاء الاصطناعي لكفاءة البيع بالتجزئة.
• تحليل الصور الطبية: في مجال الذكاء الاصطناعي في الرعاية الصحية، يتم تطبيق تقنيات التنقيب عن البيانات على السجلات الطبية واسعة النطاق ومجموعات بيانات الصور الطبية، مثل مجموعة بيانات أورام الدماغ. ومن خلال التنقيب في هذه البيانات، يمكن للباحثين تحديد الأنماط والارتباطات التي تربط بعض سمات الصور أو الخصائص الديموغرافية للمرضى بالأمراض. وهذا يساعد في بناء نماذج تشخيصية، مثل تلك الخاصة بالكشف عن الأورام، ويدعم منظمات مثل المعاهد الوطنية للصحة (NIH) في تطوير العلوم الطبية.

التنقيب عن البيانات مقابل المفاهيم ذات الصلة

من المهم التمييز بين التنقيب عن البيانات والمصطلحات الأخرى ذات الصلة بعلم البيانات.

• التعلُّم الآلي (ML): على الرغم من أن المصطلحين غالبًا ما يستخدمان بالتبادل، إلا أنهما مختلفان. التنقيب عن البيانات هو عملية أوسع لاكتشاف المعرفة من البيانات. أما التعلم الآلي فهو عبارة عن مجموعة من التقنيات والخوارزميات (على سبيل المثال، التعلم الخاضع للإشراف والتعلم غير الخاضع للإشراف) التي غالبًا ما تُستخدم في عملية التنقيب عن البيانات للعثور على الأنماط. في جوهرها، يعتبر تعلّم الآلة أداة لتحقيق هدف التنقيب عن البيانات.
• تحليلات البيانات: تحليلات البيانات هو مجال أوسع يركز على فحص مجموعات البيانات لاستخلاص الاستنتاجات ودعم عملية صنع القرار. والتنقيب عن البيانات هو مجموعة فرعية محددة من تحليلات البيانات التي تركز على اكتشاف أنماط لم تكن معروفة من قبل، في حين أن تحليلات البيانات يمكن أن تتضمن أيضًا اختبار فرضيات محددة مسبقًا وإنشاء تقارير موجزة.
• البيانات الضخمة: يشير هذا المصطلح إلى مجموعات البيانات الضخمة والمعقدة والمتنامية بسرعة. والتنقيب في البيانات هو العملية المطبقة على البيانات الضخمة لاستخراج القيمة منها. وغالبًا ما تتطلب تحديات البيانات الضخمة (الحجم والسرعة والتنوع) أدوات متخصصة في التنقيب عن البيانات مثل نظام أباتشي هادوب.
• التعلّم العميق (DL): هذا مجال فرعي متخصص في التعلم الآلي يستخدم الشبكات العصبية ذات الطبقات المتعددة. يمكن لنماذج التعلم العميق (DL)، مثل تلك المستخدمة في Ultralytics YOLO، إجراء استخراج الميزات تلقائيًا من البيانات الخام مثل الصور، وهي قدرة قوية في سير عمل التنقيب عن البيانات في مجال الرؤية الحاسوبية. تعمل منصات مثل Ultralytics HUB على تبسيط العملية بأكملها، بدءاً من إدارة مجموعات البيانات إلى نماذج التدريب.