Matryoshka Representation Learning (MRL)

تعلم التمثيلات المتداخل (MRL) تقنية تدريب في الذكاء الاصطناعي (AI) والتعلم الآلي (ML)، تُلزم الشبكة العصبية بتعلّم تضمينات متعددة الدقة ضمن متجه إخراج واحد. واستلهامًا من دمى ماتريوشكا الروسية المتداخلة، ينظم MRL التضمين بحيث تُعطى المعلومات الدلالية المهمة الأولوية في بدايته. وهذا يعني إمكانية اقتطاع متجه عالي الأبعاد (مثل متجه ذي 1024 بُعدًا) إلى مجموعات فرعية أصغر ومتداخلة (مثل 512 أو 256 أو 64 بُعدًا) من دون فقدان تمثيله الأساسي. وتقلل هذه المرونة بدرجة كبيرة النفقات الحسابية المرتبطة عادةً بمهام استرجاع المعلومات.

كيفية عمل تعلم التمثيلات المتداخل#

تقليديًا، يُدرّب نموذج التضمين لتحسين دالة خسارة محددة لحجم إخراج ثابت. وإذا احتاج النظام إلى متجه أصغر لتوفير الذاكرة، وجب تدريب نموذج جديد بالكامل. ويحل MRL هذه المشكلة بتطبيق دالة خسارة متداخلة في مرحلة التدريب، بحيث يحسّن التمثيل الكامل ومجموعاته الفرعية المتداخلة معًا. وقد اعتمدت مؤسسات مثل OpenAI تقنية MRL في واجهات برمجة التطبيقات الحديثة للتضمين، ما يتيح للمطورين حذف الأبعاد من نهاية المتجه ديناميكيًا مع الحفاظ على دقة درجات التشابه الجيبي.

تطبيقات عملية#

يقدم MRL مزايا واضحة عند الموازنة بين الدقة وتكاليف التخزين وعرض نطاق الذاكرة.

• البحث التكيفي في المتجهات لنماذج LLMs: في مسارات التوليد المعزز بالاسترجاع (RAG)، تعتمد نماذج اللغة الكبيرة (LLMs) غالبًا على قواعد بيانات متجهية ضخمة. وباستخدام MRL، تستطيع المؤسسة إجراء بحث دلالي سريع وخشن باستخدام أول 64 بُعدًا من التضمينات، ثم إعادة ترتيب أفضل النتائج باستخدام المتجهات كاملة الأبعاد البالغ عددها 1024 بُعدًا. ويسرّع هذا النهج ذو المرورين البحث المتجهي بدرجة كبيرة ويخفض تكاليف تخزين قواعد البيانات.
• رؤية حاسوبية قابلة للتوسع على الحافة: عند نشر أنظمة الرؤية الحاسوبية باستخدام منصة Ultralytics، قد تتباين قيود العتاد بشدة. ويمكن لنموذج يستخدم MRL إرسال التضمينات المرئية كاملة الحجم إلى خادم النشر السحابي القوي، مع إمكانية التحول بسلاسة إلى إرسال تضمينات مقتطعة ذات 128 بُعدًا عند العمل على أجهزة الحوسبة الطرفية منخفضة الطاقة، ما يحسّن زمن الاستجابة من دون إعادة تدريب النموذج.

التمييز بين المفاهيم ذات الصلة#

للاستفادة من MRL على النحو الأمثل، من المفيد تمييزه عن التقنيات الأقدم المستخدمة لضغط البيانات.

• MRL مقابل تقليل الأبعاد: تُطبّق خوارزميات مثل PCA (تحليل المكونات الرئيسية) أو t-SNE بعد التدريب لضغط البيانات. وعلى النقيض، يُدمج MRL أصلًا في معمارية الشبكة العصبية أثناء التدريب، محافظًا على العلاقات غير الخطية الأعمق.
• MRL مقابل تشذيب النماذج: يزيل التشذيب الأوزان والطبقات من الشبكة العصبية الفعلية لتسريع الاستدلال، مثل إنشاء نسخة أصغر من نموذج Ultralytics YOLO. ولا يغيّر MRL حجم النموذج؛ بل يغيّر حجم متجه الإخراج الذي ينتجه النموذج فحسب.

التنفيذ العملي#

يُعد اقتطاع تضمين MRL أمرًا مباشرًا للغاية ولا يتطلب منطقًا معقدًا لـالفهرسة الدلالية. ولأن السمات الأهم تتركز بأوزان كبيرة في الأبعاد الأولى، يكفي تقسيم المصفوفة ببساطة. يوضّح المثال التالي اقتطاع مخرج متعدد الوسائط محاكى من YOLO26 باستخدام عمليات موتر PyTorch الأساسية.

import torch

# Simulate a full 1024-dimensional MRL embedding returned by a model
full_embedding = torch.rand(1, 1024)

# To deploy on memory-constrained hardware, simply slice the first 256 dimensions
# Because the model was trained with MRL, this subset remains highly accurate
truncated_embedding = full_embedding[:, :256]

print(f"Original size: {full_embedding.shape[1]}, Compressed size: {truncated_embedding.shape[1]}")