Matryoshka Representation Learning (MRL)
يدرّب التعلم التمثيلي ماتريوشكا التضمينات بحيث تعمل أبعادها الأولى منفردة، ما يتيح اقتطاع متجه واحد لتقليل كلفة التخزين والبحث.
تعلّم التمثيلات المتداخلة مثل دمى ماتريوشكا (MRL) هو أسلوب تدريب يجعل الأبعاد الأولى من التضمين صالحة للاستخدام كتضمين مستقل. ويُخرج النموذج المدرّب باستخدام MRL متجهًا واحدًا، طوله مثلًا 768 بُعدًا، يمكن اقتطاع أول 512 أو 256 أو 128 قيمة منه واستخدامها مباشرة في البحث أو التصنيف، مع انخفاض تدريجي في الدقة كلما قصر المتجه. ويعود الاسم إلى دمى ماتريوشكا الروسية المتداخلة. وقدّم Kusupati وآخرون تعلّم التمثيلات المتداخلة مثل دمى ماتريوشكا في NeurIPS 2022، وأفادوا بأن التضمينات أصغر بما يصل إلى 14 مرة مع الحفاظ على دقة تصنيف ImageNet-1K نفسها، فضلًا عن استرجاع واسع النطاق أسرع بما يصل إلى 14 مرة.
كيف يعمل MRL؟#
تطبّق نماذج التضمين القياسية دالة الخسارة على المتجه كاملًا، فتتوزع المعلومات على جميع الأبعاد، ويؤدي أي اقتطاع إلى فقدان جزء منها. يختار MRL مجموعة من الأحجام المتداخلة، عادةً بمضاعفة الحجم بدءًا من 8 وصولًا إلى العرض الكامل، ويطبّق خسارة المهمة على كل بادئة من التضمين، ثم يجمع الخسائر. ويجب أن تنجز كل بادئة المهمة بمفردها، ما يدفع المعلومات الأكثر فائدة إلى الأبعاد الأولى. ويظل المشفّر يعمل مرة واحدة لكل مُدخل، لذا لا تزيد كلفة التدريب كثيرًا عن السابق، كما يشارك الإصدار الفعال MRL-E مصنّفًا واحدًا بين الأحجام، مستخدمًا في كل بادئة الأعمدة الأولى من مصفوفة أوزانه. يدرّب المثال أدناه نموذجًا قياسيًا ونموذج MRL على أرقام scikit-learn المكتوبة بخط اليد، ويصنّف مجموعة الاختبار باستخدام تضمينات مقتطعة:
import torch
import torch.nn.functional as F
from sklearn.datasets import load_digits
torch.manual_seed(0)
x, y = load_digits(return_X_y=True)
x, y = torch.tensor(x / 16, dtype=torch.float32), torch.tensor(y)
n, dims = 1400, [2, 4, 8, 16, 64] # train/test split and nested prefixes of a 64-dim embedding
for nested in (False, True):
encoder = torch.nn.Sequential(torch.nn.Linear(64, 256), torch.nn.ReLU(), torch.nn.Linear(256, 64))
head = torch.nn.Linear(64, 10) # shared classifier: its first d columns score a d-dim prefix
optimizer = torch.optim.Adam([*encoder.parameters(), *head.parameters()], lr=1e-3)
sizes = dims if nested else [64] # MRL adds a loss for every prefix, a standard model only for all 64
for step in range(500):
z = encoder(x[:n])
loss = sum(F.cross_entropy(z[:, :d] @ head.weight[:, :d].T + head.bias, y[:n]) for d in sizes)
optimizer.zero_grad()
loss.backward()
optimizer.step()
z = encoder(x[n:]).detach() # test embeddings, classified from each truncated prefix
accuracy = [((z[:, :d] @ head.weight[:, :d].T + head.bias).argmax(1) == y[n:]).float().mean() for d in dims]
print("MRL: " if nested else "Standard:", ", ".join(f"{d}d {a:.2f}" for d, a in zip(dims, accuracy)))يحقق كلا النموذجين دقة اختبار تبلغ 0.91 باستخدام الأبعاد الـ64 كلها. وعند اقتطاع التضمين إلى 4 أبعاد، تنخفض دقة النموذج القياسي إلى 0.43، بينما يحافظ نموذج MRL على 0.88؛ أما عند بُعدين، فتبلغ النتيجتان 0.22 و0.66.
الاسترجاع التكيفي#
يجعل MRL البحث المتجهي أقل كلفة بطريقتين. فتخزين بادئة فقط يقلّص قاعدة بيانات المتجهات بنسبة مماثلة، كما يبحث الاسترجاع التكيفي، أو القُمعي، في المجموعة كاملة باستخدام بادئة قصيرة، ثم يعيد ترتيب قائمة مختصرة باستخدام المتجهات الكاملة. ويجب تطبيع المتجهات المقتطعة إلى طول وحدة مجددًا قبل حساب تشابه جيب التمام أو الجداءات النقطية. تنفّذ منصة Ultralytics البحث بالتضمينات عبر مجموعات البيانات؛ إذ يقارن إجراء العثور على صور متشابهة تضمينات كل صورة عبر مجموعات البيانات العامة والشخصية والفِرق، ويعرض ما يصل إلى 24 من أقرب الصور مع درجات التشابه، ضمن فهرس مشترك تزداد كلفة ذاكرته وبحثه مع كل بُعد من أبعاد التضمين.
MRL والمفاهيم ذات الصلة#
- تقليل الأبعاد: تلائم أساليب مثل تحليل المكونات الرئيسية (PCA) إسقاطًا لمجموعة ثابتة من المتجهات بعد التدريب، ويجب تخزين الإسقاط وتطبيقه على كل متجه جديد. أما MRL فيدمج ترتيب الأبعاد في التدريب، لذا لا يتطلب الاقتطاع سوى أخذ شريحة.
- تكميم المتجهات: يخزّن كل متجه باستخدام عدد أقل من البتات بدلًا من تقليل أبعاده. ويمكن الجمع بين الأسلوبين، مثل استخدام بادئات MRL المكمّمة ثنائيًا في البحث الأولي.
- تشذيب النموذج وتقطير المعرفة: يقلّصان النموذج الذي ينتج التضمينات. ولا يغيّر MRL المشفّر، بل يقلّص مخرجاته فقط.
- نموذج إعادة الترتيب: نموذج مستقل أعلى كلفة يعيد ترتيب قائمة مختصرة. ويتيح الاسترجاع التكيفي نسخة أقل كلفة من النمط ذي المرحلتين نفسه باستخدام تضمين واحد من MRL.
MRL في نماذج التضمين#
تدعم نماذج text-embedding-3 من OpenAI، الصادرة في يناير 2024، تقليص التضمينات عبر مُعامل dimensions، كما أن نموذج text-embedding-3-large المقتصر على 256 بُعدًا لا يزال يتفوق على text-embedding-ada-002 ذي الأبعاد الـ1,536 في معيار MTEB. وتدرّب Sentence Transformers نماذج MRL باستخدام MatryoshkaLoss، المشمول في مقدمة Hugging Face إلى نماذج التضمين من نوع ماتريوشكا. ويُخرج EmbeddingGemma من Google، وهو نموذج تضمين نصي يضم نحو 300 مليون مُعامل، 768 بُعدًا، ويوفر أحجام 512 و256 و128 عبر اقتطاع MRL.










