ترخيص YOLO
العودة إلى مسرد Ultralytics

Matryoshka Representation Learning (MRL)

يدرّب التعلم التمثيلي ماتريوشكا التضمينات بحيث تعمل أبعادها الأولى منفردة، ما يتيح اقتطاع متجه واحد لتقليل كلفة التخزين والبحث.

تعلّم التمثيلات المتداخلة مثل دمى ماتريوشكا (MRL) هو أسلوب تدريب يجعل الأبعاد الأولى من التضمين صالحة للاستخدام كتضمين مستقل. ويُخرج النموذج المدرّب باستخدام MRL متجهًا واحدًا، طوله مثلًا 768 بُعدًا، يمكن اقتطاع أول 512 أو 256 أو 128 قيمة منه واستخدامها مباشرة في البحث أو التصنيف، مع انخفاض تدريجي في الدقة كلما قصر المتجه. ويعود الاسم إلى دمى ماتريوشكا الروسية المتداخلة. وقدّم Kusupati وآخرون تعلّم التمثيلات المتداخلة مثل دمى ماتريوشكا في NeurIPS 2022، وأفادوا بأن التضمينات أصغر بما يصل إلى 14 مرة مع الحفاظ على دقة تصنيف ImageNet-1K نفسها، فضلًا عن استرجاع واسع النطاق أسرع بما يصل إلى 14 مرة.

كيف يعمل MRL؟#

تطبّق نماذج التضمين القياسية دالة الخسارة على المتجه كاملًا، فتتوزع المعلومات على جميع الأبعاد، ويؤدي أي اقتطاع إلى فقدان جزء منها. يختار MRL مجموعة من الأحجام المتداخلة، عادةً بمضاعفة الحجم بدءًا من 8 وصولًا إلى العرض الكامل، ويطبّق خسارة المهمة على كل بادئة من التضمين، ثم يجمع الخسائر. ويجب أن تنجز كل بادئة المهمة بمفردها، ما يدفع المعلومات الأكثر فائدة إلى الأبعاد الأولى. ويظل المشفّر يعمل مرة واحدة لكل مُدخل، لذا لا تزيد كلفة التدريب كثيرًا عن السابق، كما يشارك الإصدار الفعال MRL-E مصنّفًا واحدًا بين الأحجام، مستخدمًا في كل بادئة الأعمدة الأولى من مصفوفة أوزانه. يدرّب المثال أدناه نموذجًا قياسيًا ونموذج MRL على أرقام scikit-learn المكتوبة بخط اليد، ويصنّف مجموعة الاختبار باستخدام تضمينات مقتطعة:

import torch
import torch.nn.functional as F
from sklearn.datasets import load_digits

torch.manual_seed(0)
x, y = load_digits(return_X_y=True)
x, y = torch.tensor(x / 16, dtype=torch.float32), torch.tensor(y)
n, dims = 1400, [2, 4, 8, 16, 64]  # train/test split and nested prefixes of a 64-dim embedding

for nested in (False, True):
    encoder = torch.nn.Sequential(torch.nn.Linear(64, 256), torch.nn.ReLU(), torch.nn.Linear(256, 64))
    head = torch.nn.Linear(64, 10)  # shared classifier: its first d columns score a d-dim prefix
    optimizer = torch.optim.Adam([*encoder.parameters(), *head.parameters()], lr=1e-3)
    sizes = dims if nested else [64]  # MRL adds a loss for every prefix, a standard model only for all 64
    for step in range(500):
        z = encoder(x[:n])
        loss = sum(F.cross_entropy(z[:, :d] @ head.weight[:, :d].T + head.bias, y[:n]) for d in sizes)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

    z = encoder(x[n:]).detach()  # test embeddings, classified from each truncated prefix
    accuracy = [((z[:, :d] @ head.weight[:, :d].T + head.bias).argmax(1) == y[n:]).float().mean() for d in dims]
    print("MRL:     " if nested else "Standard:", ", ".join(f"{d}d {a:.2f}" for d, a in zip(dims, accuracy)))

يحقق كلا النموذجين دقة اختبار تبلغ 0.91 باستخدام الأبعاد الـ64 كلها. وعند اقتطاع التضمين إلى 4 أبعاد، تنخفض دقة النموذج القياسي إلى 0.43، بينما يحافظ نموذج MRL على 0.88؛ أما عند بُعدين، فتبلغ النتيجتان 0.22 و0.66.

الاسترجاع التكيفي#

يجعل MRL البحث المتجهي أقل كلفة بطريقتين. فتخزين بادئة فقط يقلّص قاعدة بيانات المتجهات بنسبة مماثلة، كما يبحث الاسترجاع التكيفي، أو القُمعي، في المجموعة كاملة باستخدام بادئة قصيرة، ثم يعيد ترتيب قائمة مختصرة باستخدام المتجهات الكاملة. ويجب تطبيع المتجهات المقتطعة إلى طول وحدة مجددًا قبل حساب تشابه جيب التمام أو الجداءات النقطية. تنفّذ منصة Ultralytics البحث بالتضمينات عبر مجموعات البيانات؛ إذ يقارن إجراء العثور على صور متشابهة تضمينات كل صورة عبر مجموعات البيانات العامة والشخصية والفِرق، ويعرض ما يصل إلى 24 من أقرب الصور مع درجات التشابه، ضمن فهرس مشترك تزداد كلفة ذاكرته وبحثه مع كل بُعد من أبعاد التضمين.

  • تقليل الأبعاد: تلائم أساليب مثل تحليل المكونات الرئيسية (PCA) إسقاطًا لمجموعة ثابتة من المتجهات بعد التدريب، ويجب تخزين الإسقاط وتطبيقه على كل متجه جديد. أما MRL فيدمج ترتيب الأبعاد في التدريب، لذا لا يتطلب الاقتطاع سوى أخذ شريحة.
  • تكميم المتجهات: يخزّن كل متجه باستخدام عدد أقل من البتات بدلًا من تقليل أبعاده. ويمكن الجمع بين الأسلوبين، مثل استخدام بادئات MRL المكمّمة ثنائيًا في البحث الأولي.
  • تشذيب النموذج وتقطير المعرفة: يقلّصان النموذج الذي ينتج التضمينات. ولا يغيّر MRL المشفّر، بل يقلّص مخرجاته فقط.
  • نموذج إعادة الترتيب: نموذج مستقل أعلى كلفة يعيد ترتيب قائمة مختصرة. ويتيح الاسترجاع التكيفي نسخة أقل كلفة من النمط ذي المرحلتين نفسه باستخدام تضمين واحد من MRL.

MRL في نماذج التضمين#

تدعم نماذج text-embedding-3 من OpenAI، الصادرة في يناير 2024، تقليص التضمينات عبر مُعامل dimensions، كما أن نموذج text-embedding-3-large المقتصر على 256 بُعدًا لا يزال يتفوق على text-embedding-ada-002 ذي الأبعاد الـ1,536 في معيار MTEB. وتدرّب Sentence Transformers نماذج MRL باستخدام MatryoshkaLoss، المشمول في مقدمة Hugging Face إلى نماذج التضمين من نوع ماتريوشكا. ويُخرج EmbeddingGemma من Google، وهو نموذج تضمين نصي يضم نحو 300 مليون مُعامل، 768 بُعدًا، ويوفر أحجام 512 و256 و128 عبر اقتطاع MRL.

استكشف الحلول

الرؤية الحاسوبية في الرياضة

الرؤية الحاسوبية في الرياضة

اكتشف كيف يعزّز Ultralytics YOLO الرؤية الحاسوبية الرياضية عبر تتبّع اللاعبين والكرة، وتحليلات الأداء، ورؤى التدريب، وإعادة تأهيل الرياضيين.
معرفة المزيد
الرؤية الحاسوبية للصور الجوية

الرؤية الحاسوبية للصور الجوية

حوّل صور الطائرات المسيّرة والصور الجوية إلى رؤى آنية للزراعة وتربية الأحياء المائية والحفاظ على البيئة والتحليل الجغرافي المكاني باستخدام Ultralytics YOLO.
معرفة المزيد
الرؤية الحاسوبية في قطاع الطيران والفضاء

الرؤية الحاسوبية في قطاع الطيران والفضاء

طبّق الرؤية الحاسوبية في مجال الطيران والفضاء باستخدام Ultralytics YOLO لفحص الطائرات، واكتشاف الأجسام الغريبة على المدارج (FOD)، والعمليات الأرضية في المطارات، واكتشاف عيوب المواد المركّبة.
معرفة المزيد
الرؤية الحاسوبية في مجال الأمن

الرؤية الحاسوبية في مجال الأمن

احمِ كل موقع باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري مراقبة المحيط، واكتشاف التهديدات، والتعرف على لوحات المركبات، والسلامة في مكان العمل.
معرفة المزيد
الرؤية الحاسوبية في الروبوتات

الرؤية الحاسوبية في الروبوتات

عزّز أداء الآلات الذكية باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري في الروبوتات الملاحة الذاتية والإدراك وتعقب الأجسام والتحكم الآني.
معرفة المزيد
الرؤية الحاسوبية في الخدمات اللوجستية

الرؤية الحاسوبية في الخدمات اللوجستية

بسّط العمليات اللوجستية باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري فحص الطرود وفرزها وتتبع المركبات ومراقبة سلامة المستودعات في الوقت الفعلي.
معرفة المزيد
الرؤية الحاسوبية في تجارة التجزئة

الرؤية الحاسوبية في تجارة التجزئة

أعِد تصور تجارة التجزئة باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري تتبع المخزون ومراقبة الرفوف وإدارة الطوابير واستخلاص رؤى أذكى عن العملاء.
معرفة المزيد
الرؤية الحاسوبية في الرعاية الصحية

الرؤية الحاسوبية في الرعاية الصحية

أنشئ حلولًا للرعاية الصحية باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي البصري في الرعاية الصحية سرعة التصوير الطبي، وكفاءة التشخيص، ومراقبة المرضى.
معرفة المزيد
الرؤية الحاسوبية في التصنيع

الرؤية الحاسوبية في التصنيع

حسّن التصنيع باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية مراقبة الجودة واكتشاف العيوب والالتزام بمعدات الوقاية الشخصية وأتمتة خطوط التجميع.
معرفة المزيد
الرؤية الحاسوبية في قطاع السيارات

الرؤية الحاسوبية في قطاع السيارات

طبّق الرؤية الحاسوبية في قطاع السيارات باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية سلامة الطرق ومساعدة السائق وأتمتة المركبات لإنشاء طرق أكثر ذكاءً.
معرفة المزيد
الرؤية الحاسوبية في الزراعة

الرؤية الحاسوبية في الزراعة

أدخل الذكاء الاصطناعي البصري إلى الزراعة الذكية باستخدام نماذج Ultralytics YOLO. عزّز مراقبة المحاصيل وتتبع الماشية والزراعة الدقيقة لزيادة الإنتاجية وتحسينها.
معرفة المزيد

لنبنِ مستقبل الذكاء الاصطناعي معًا!

ابدأ رحلتك نحو مستقبل تعلّم الآلة