قاعدة بيانات المتجهات

المفاهيم والوظائف الأساسية

تعمل قواعد البيانات المتجهة على مبدأ البحث عن المتجهات، والذي يتضمن العثور على المتجهات في قاعدة البيانات "الأقرب" إلى متجه استعلام معين. يُقاس هذا التقارب عادةً باستخدام مقاييس المسافة مثل تشابه جيب التمام أو المسافة الإقليدية. يتضمن سير العمل الأساسي:

1. توليد التضمين: يتم تحويل البيانات (مثل النصوص والصور) إلى متجهات باستخدام نموذج تضمين (مثل BERT للنصوص أو Ultralytics YOLO للصور). تلتقط هذه المتجهات الجوهر الدلالي للبيانات في فضاء عالي الأبعاد.
2. الفهرسة: يتم تخزين المتجهات التي تم إنشاؤها في قاعدة بيانات المتجهات. ولتمكين الاسترجاع السريع، تستخدم قاعدة البيانات خوارزميات فهرسة متخصصة، وبشكل أساسي تقنيات البحث عن أقرب جار تقريبي (ANN) مثل HNSW (عالم صغير قابل للتنقل الهرمي) أو IVF (فهرس الملفات المقلوب). وتسمح هذه الفهارس بإجراء عمليات بحث سريعة عن التشابه حتى عبر مليارات المتجهات، مما يؤدي إلى مقايضة الدقة المثالية بمكاسب كبيرة في السرعة، وهو أمر بالغ الأهمية للاستدلال في الوقت الحقيقي. تشمل مكتبات الشبكات العصبية الاصطناعية الشائعة FAISS و ScaNN.
3. الاستعلام: عندما يتم تلقي استعلام (يتم تحويله أيضًا إلى متجه)، تستخدم قاعدة البيانات فهارسها للعثور على المتجهات الأكثر تشابهًا مع متجه الاستعلام وإرجاعها بكفاءة بناءً على مقياس المسافة المختار.

قواعد البيانات المتجهة مقابل قواعد البيانات التقليدية

قواعد البيانات التقليدية (مثل قواعد بيانات SQL أو قواعد بيانات NoSQL) مصممة للبيانات المهيكلة أو شبه المهيكلة وتعتمد على المطابقة التامة باستخدام طرق فهرسة قواعد البيانات القياسية (مثل، الشجرات ب). وهي غير مجهزة بطبيعتها للتعامل مع البحث عن التشابه المطلوب للبيانات غير المنظمة الممثلة في شكل متجهات.

تشمل الاختلافات الرئيسية ما يلي:

• نوع البيانات: تتعامل قواعد البيانات التقليدية مع البيانات الأبجدية الرقمية، JSON، إلخ. قواعد بيانات المتجهات تتعامل مع المتجهات الرقمية عالية الأبعاد.
• نوع الاستعلام: تقوم قواعد البيانات التقليدية بإجراء عمليات مطابقة تامة أو استعلامات النطاق أو البحث بالكلمات الرئيسية. تقوم قواعد البيانات المتجهة بإجراء عمليات بحث عن التشابه (عمليات البحث الأقرب إلى الجار).
• الفهرسة: تستخدم قواعد البيانات التقليدية فهارس مثل فهارس B-trees أو فهارس التجزئة. وتستخدم قواعد البيانات المتجهة فهارس الشبكة العنكبوتية.

تطبيقات في الذكاء الاصطناعي والتعلم الآلي

قواعد البيانات المتجهة هي العمود الفقري للعديد من تطبيقات الذكاء الاصطناعي:

• البحث الدلالي: تمكين محركات البحث أو قواعد المعرفة الداخلية من العثور على النتائج بناءً على المعنى بدلاً من الكلمات الرئيسية فقط. على سبيل المثال، قد يؤدي البحث عن "أفكار غداء صحي" إلى عرض وصفات للسلطات وأطباق الحبوب، حتى لو لم تكن تحتوي على مصطلحات البحث الدقيقة.
• أنظمة التوصيات: تشغيل منصات مثل Netflix أو Spotify لاقتراح أفلام أو أغانٍ مشابهة لما أعجب المستخدم سابقاً، استناداً إلى تضمينات المحتوى والملفات الشخصية للمستخدمين.
• التعرّف على الصور والبحث المرئي: السماح للمستخدمين بالعثور على صور متشابهة(البحث العكسي عن الصور) أو تمكين اكتشاف المنتجات في التجارة الإلكترونية عن طريق تحميل صورة. هذا تطبيق رئيسي في الرؤية الحاسوبية (CV). قد تستفيد المنصات مثل Ultralytics HUB من قواعد البيانات المتجهة لإدارة مجموعات البيانات المرئية الكبيرة والبحث فيها.
• معالجة اللغة الطبيعية (NLP): دعم تطبيقات مثل أنظمة الإجابة على الأسئلة وروبوتات الدردشة وتجميع المستندات من خلال فهم دلالات النصوص.
• التوليد المعزز بالاسترجاع (RAG): تعزيز نماذج اللغة الكبيرة (LLMs) من خلال استرجاع المعلومات الحديثة ذات الصلة من قاعدة بيانات متجهة لتأسيس استجابات النموذج في بيانات واقعية، مما يقلل من الهلوسة.
• كشف الشذوذ: تحديد نقاط البيانات غير العادية (المتجهات) التي تقع بعيدًا عن التكتلات الكثيفة في فضاء المتجهات، وهي مفيدة في الكشف عن الاحتيال أو مراقبة النظام.
• أدوات استكشاف البيانات: أدوات مثل Ultralytics Explorer تستخدم أدوات مثل Ultralytics Explorer التضمينات لمساعدة المستخدمين على تصور مجموعات البيانات الكبيرة وفهمها من خلال تجميع نقاط البيانات المتشابهة معًا.

قواعد بيانات المتجهات الشائعة

تتوفر العديد من قواعد البيانات المتجهة مفتوحة المصدر والتجارية، بما في ذلك:

• باينكون: خدمة قاعدة بيانات المتجهات المدارة الشهيرة.
• Milvus: قاعدة بيانات متجهات مفتوحة المصدر مصممة لقابلية التوسع.
• Weaviate: قاعدة بيانات متجهية مفتوحة المصدر ومفتوحة المصدر ومزودة بإمكانيات الرسم البياني.
• Chroma DB: قاعدة بيانات تضمين مفتوحة المصدر تركز على تجربة المطورين.
• Qdrant: قاعدة بيانات متجهات مفتوحة المصدر ومحرك بحث عن التشابه.

يعكس ظهور قواعد البيانات المتجهة الأهمية المتزايدة للتضمينات والبحث عن التشابه في بناء تطبيقات الذكاء الاصطناعي المتطورة، مما يؤدي إلى نمو كبير في سوق قواعد البيانات المتجهة. فهي عنصر بنية تحتية بالغة الأهمية للاستفادة الفعالة من الرؤى التي تلتقطها نماذج التعلم الآلي الحديثة.