التعلم التمثيلي لماتريوشكا (MRL)

يُعد «التعلم التمثيلي لماتريوشكا» (MRL) تقنية تدريب في الذكاء الاصطناعي (AI) و التعلم الآلي (ML) تُجبر الشبكة العصبية على تعلم التضمينات متعددة المستويات ضمن متجه إخراج واحد. مستوحاة من الدمى الروسية المتداخلة، تُنظم تقنية MRL التضمين بحيث تُوضع المعلومات الدلالية المهمة في المقدمة. وهذا يعني أنه يمكن اقتطاع متجه عالي الأبعاد (على سبيل المثال، 1024 بُعدًا) إلى مجموعات فرعية أصغر ومتداخلة (مثل 512 أو 256 أو 64 بُعدًا) دون فقدان تمثيله الأساسي. وتقلل هذه المرونة بشكل كبير من العبء الحسابي المرتبط عادةً بمهام استرجاع المعلومات.

كيف يعمل تعلم التمثيل باستخدام نموذج "ماتريوشكا"

تقليديًا، يتم تدريب نموذج التضمين بهدف تحسين دالة الخسارة المحددة لحجم مخرجات ثابت. وإذا احتاج النظام إلى متجه أصغر حجمًا لتوفير الذاكرة، فيجب تدريب نموذج جديد تمامًا. ويحل MRL هذه المشكلة من خلال تطبيق دالة خسارة متداخلة خلال مرحلة التدريب. فهو يعمل على تحسين التمثيل الكامل ومجموعاته الفرعية المتداخلة بشكل مشترك. وقد اعتمدت مؤسسات مثل OpenAI نموذج MRL في واجهات برمجة التطبيقات (API) الحديثة الخاصة بالتضمين، مما يسمح للمطورين بإزالة الأبعاد ديناميكيًا من نهاية المتجه مع الاحتفاظ بدقة درجات تشابه جيب التمام.

تطبيقات واقعية

توفر تقنية MRL مزايا واضحة عند الموازنة بين الدقة وتكاليف التخزين و عرض النطاق الترددي للذاكرة.

• البحث المتكيف بالمتجهات لنماذج اللغة الكبيرة (LL Ms): في مسارات " التوليد المعزز بالاسترجاع" (RAG) ، غالبًا ما تعتمد نماذج اللغة الكبيرة (LLMs) على قواعد بيانات متجهات ضخمة. باستخدام MRL، يمكن للمؤسسة إجراء بحث دلالي سريع وتقريبي باستخدام الأبعاد الـ 64 الأولى من التضمينات، ثم إعادة ترتيب النتائج العليا باستخدام المتجهات الكاملة ذات الأبعاد الـ 1024. هذا النهج ذو المرحلتين يسرع البحث المتجهي بشكل كبير ويخفض تكاليف تخزين قاعدة البيانات.
• رؤية حاسوبية قابلة للتوسع على الحافة: عند نشر أنظمة الرؤية الحاسوبية باستخدام Ultralytics قد تختلف قيود الأجهزة بشكل كبير. يمكن للنموذج الذي يستخدم MRL أن ينقل التضمينات البصرية كاملة الحجم إلى خادم نشر سحابي قوي، ولكنه يعود بسلاسة إلى نقل التضمينات المقتطعة ذات الأبعاد الـ 128 عند العمل على أجهزة الحوسبة الطرفية منخفضة الطاقة، مما يحسن زمن الاستجابة دون إعادة تدريب النموذج.

التفريق بين المفاهيم ذات الصلة

للاستفادة من تقنية MRL بشكل صحيح، من المفيد تمييزها عن التقنيات القديمة المستخدمة لضغط البيانات.

• MRL مقابل تقليل الأبعاد: يتم تطبيق خوارزميات مثل PCA (تحليل المكونات الرئيسية) أو t-SNE بعد التدريب لضغط البيانات. في المقابل، يتم دمج MRL في بنية الشبكة العصبية بشكل أصلي أثناء التدريب، مما يحافظ على العلاقات غير الخطية الأعمق.
• MRL مقابل تقليص النموذج: تقليص النموذج يعمل على إزالة الأوزان والطبقات من الشبكة العصبية الفعلية لتسريع عملية الاستدلال، مثل إنشاء نسخة أصغر من Ultralytics YOLO . لا يغير MRL حجم النموذج ؛ بل يغير فقط حجم متجه الإخراج الذي ينتجه النموذج.

التنفيذ العملي

يعد اقتطاع تضمين MRL عملية بسيطة للغاية ولا تتطلب أي منطق معقد للفهرسة الدلالية. ونظرًا لأن السمات الأكثر أهمية تحظى بوزن كبير في الأبعاد الأولى، يمكنك ببساطة تقسيم المصفوفة. ويوضح المثال التالي كيفية اقتطاع ناتج متعدد الوسائط محاكى لـ YOLO26 باستخدام tensor الأساسية PyTorch .

import torch

# Simulate a full 1024-dimensional MRL embedding returned by a model
full_embedding = torch.rand(1, 1024)

# To deploy on memory-constrained hardware, simply slice the first 256 dimensions
# Because the model was trained with MRL, this subset remains highly accurate
truncated_embedding = full_embedding[:, :256]

print(f"Original size: {full_embedding.shape[1]}, Compressed size: {truncated_embedding.shape[1]}")