استخراج البيانات

التنقيب عن البيانات هو عملية اكتشاف الأنماط والارتباطات والشذوذات داخل مجموعات البيانات الكبيرة لاستخراج معلومات قيمة وغير معروفة سابقًا. وهو بمثابة خطوة استكشافية حاسمة تحول البيانات الأولية إلى هيكل مفهوم، وغالبًا ما تكون بمثابة الأساس للنمذجة التنبؤية ومهام التعلم الآلي (ML). من خلال الاستفادة من التقنيات من الإحصاء وأنظمة قواعد البيانات والذكاء الاصطناعي، يساعد التنقيب عن البيانات في الكشف عن رؤى خفية يمكن أن تفيد استراتيجيات الأعمال والبحث العلمي والابتكار التكنولوجي.

كيف يعمل تعدين البيانات (Data Mining)؟

غالبًا ما تتم هيكلة عملية استخراج البيانات وفقًا لأطر عمل مثل عملية المعايير الصناعية المشتركة لاستخراج البيانات (CRISP-DM). تشمل المراحل النموذجية ما يلي:

1. جمع البيانات وتكاملها: جمع البيانات من مصادر مختلفة، والتي قد تشمل قواعد بيانات منظمة أو نصوص غير منظمة أو صور من بحيرة البيانات.
2. المعالجة المسبقة للبيانات (Data Preprocessing): تتضمن تنظيف البيانات (data cleaning) للتعامل مع القيم المفقودة أو غير المتناسقة وتحويل البيانات لتطبيع البيانات أو تجميعها للتحليل. يمكن أيضًا استخدام زيادة البيانات (Data augmentation) في هذه المرحلة لإثراء مجموعة البيانات.
3. اكتشاف الأنماط والنمذجة: تطبيق الخوارزميات لتحديد الأنماط. تتضمن المهام الشائعة التصنيف والتجميع (K-Means) والانحدار واستخراج قواعد الارتباط. هذه هي المرحلة التي يتم فيها استخدام خوارزميات ML بشكل مكثف.
4. التقييم والتفسير: تقييم الأنماط المكتشفة من حيث صلاحيتها وفائدتها. تصور البيانات (Data visualization) هو أداة رئيسية هنا، مما يساعد على جعل النتائج مفهومة.
5. نشر المعرفة: دمج المعرفة المكتشفة في الأنظمة التشغيلية، مثل محرك التوصيات أو نظام الكشف عن الاحتيال.

تطبيقات الذكاء الاصطناعي ورؤية الحاسوب في العالم الحقيقي

يعد التنقيب عن البيانات أمرًا أساسيًا لتطوير أنظمة ذكية في العديد من الصناعات.

• الذكاء الاصطناعي في البيع بالتجزئة وتحليل سلة التسوق: يقوم تجار التجزئة باستخراج سجلات المعاملات الشاسعة لاكتشاف المنتجات التي يتم شراؤها معًا بشكل متكرر. على سبيل المثال، يمكن أن يؤدي اكتشاف أن العملاء الذين يشترون الخبز يشترون أيضًا الحليب في كثير من الأحيان (قاعدة ارتباط) إلى إعلام استراتيجيات وضع المنتج وتجميع العروض الترويجية والإعلانات المستهدفة. هذا التحليل لسلوك العملاء يغذي أيضًا أنظمة التوصية المخصصة. تعرف على المزيد حول كيفية تحقيق الذكاء الاصطناعي لكفاءة البيع بالتجزئة.
• تحليل الصور الطبية: في الذكاء الاصطناعي في الرعاية الصحية، يتم تطبيق تقنيات استخراج البيانات على السجلات الطبية واسعة النطاق ومجموعات بيانات الصور، مثل مجموعة بيانات أورام الدماغ. من خلال استخراج هذه البيانات، يمكن للباحثين تحديد الأنماط والارتباطات التي تربط بين ميزات صور معينة أو التركيبة السكانية للمرضى والأمراض. يساعد هذا في بناء نماذج تشخيصية، مثل تلك الخاصة بـ الكشف عن الأورام، ويدعم منظمات مثل المعاهد الوطنية للصحة (NIH) في تطوير العلوم الطبية.

استخراج البيانات مقابل المفاهيم ذات الصلة

من المهم التمييز بين التنقيب عن البيانات والمصطلحات الأخرى ذات الصلة في علم البيانات.

• التعلم الآلي (ML) (Machine Learning): في حين أن المصطلحات غالبًا ما تستخدم بالتبادل، إلا أنها متميزة. يعد تعدين البيانات (Data mining) عملية أوسع لاكتشاف المعرفة من البيانات. التعلم الآلي (Machine learning) عبارة عن مجموعة من التقنيات والخوارزميات (مثل التعلم الخاضع للإشراف (supervised learning)، التعلم غير الخاضع للإشراف (unsupervised learning)) التي غالبًا ما تكون تستخدم داخل عملية تعدين البيانات للعثور على الأنماط. بمعنى آخر، التعلم الآلي (ML) هو أداة لتحقيق هدف تعدين البيانات.
• تحليل البيانات: تحليل البيانات هو مجال أوسع يركز على فحص مجموعات البيانات لاستخلاص النتائج ودعم اتخاذ القرارات. التنقيب عن البيانات هو مجموعة فرعية محددة من تحليل البيانات تؤكد على اكتشاف الأنماط غير المعروفة سابقًا، في حين أن تحليل البيانات يمكن أن يشمل أيضًا اختبار الفرضيات المحددة مسبقًا وإنشاء تقارير موجزة.
• البيانات الكبيرة: يشير هذا المصطلح إلى مجموعات البيانات الواسعة والمعقدة والمتنامية بسرعة نفسها. التنقيب عن البيانات هو العملية المطبقة على البيانات الكبيرة لاستخراج القيمة منها. غالبًا ما تتطلب تحديات البيانات الكبيرة (الحجم والسرعة والتنوع) أدوات متخصصة للتنقيب عن البيانات مثل النظام البيئي Apache Hadoop.
• التعلم العميق (DL) (Deep Learning): هذا مجال فرعي متخصص من التعلم الآلي يستخدم الشبكات العصبية (neural networks) ذات الطبقات العديدة. يمكن لنماذج DL، مثل تلك المستخدمة في Ultralytics YOLO، إجراء استخلاص الميزات (feature extraction) تلقائيًا من البيانات الأولية مثل الصور، وهي قدرة قوية ضمن سير عمل تنقيب البيانات لـ رؤية الكمبيوتر (CV) (Computer Vision). تعمل منصات مثل Ultralytics HUB على تبسيط العملية بأكملها، من إدارة مجموعات البيانات (datasets) إلى نماذج التدريب (training models).