Large Concept Models (LCMs)

نموذج المفاهيم الكبير (LCM) نموذج لغوي يتنبأ بـتضمين الجملة التالية، المسمى مفهومًا، بدلًا من الرمز التالي. قدمت Meta FAIR هذه البنية في ديسمبر 2024 ضمن بحث نماذج المفاهيم الكبيرة: نمذجة اللغة في فضاء تمثيلات الجمل، حيث عوملت كل جملة على أنها مفهوم واحد، ومُثّل المستند كسلسلة من متجهات الجمل. وتأتي تلك المتجهات من SONAR، وهو فضاء تضمين ثابت يدعم إدخال النص وإخراجه بـ200 لغة وإدخال الكلام بـ76 لغة، لذا يستدل النموذج في الوسط على المعنى دون التقيد بصياغة لغة بعينها.

آلية عمل نماذج المفاهيم الكبيرة#

يشغّل نموذج اللغة الكبير (LLM) التقليدي تجزئة الرموز ويتنبأ بكلمة فرعية واحدة في كل مرة. يقسم LCM المدخل إلى جمل، ويرمّز كل جملة باستخدام مُرمِّز SONAR المجمد في متجه من 1,024 رقمًا، ثم يمرر هذا التسلسل إلى محوّل يتنبأ بمتجه الجملة التالية. تكرر عملية توليد النص هذه الخطوة حتى يشير النموذج إلى نهاية المستند، ثم يحوّل مفكّك SONAR المجمد كل متجه متنبأ به إلى جملة بلغة مدعومة:

يتكون الأساس من محوّل سببي عادي عناصر تسلسله متجهات الجمل. ويدرّب أبسط إصدار، Base-LCM، المحوّل على انحدار كل متجه تالٍ باستخدام خسارة متوسط مربع الخطأ، كما في هذا المثال التوضيحي لخطوة تدريب واحدة باستخدام PyTorch:

import torch
from torch import nn

torch.manual_seed(0)

# A document of 6 sentences, each already encoded as a 1024-number SONAR-sized concept vector
concepts = torch.randn(1, 6, 1024)

# A causal transformer over sentence vectors, the core of a Base-LCM
layer = nn.TransformerEncoderLayer(d_model=1024, nhead=16, batch_first=True)
lcm = nn.TransformerEncoder(layer, num_layers=2)
causal = nn.Transformer.generate_square_subsequent_mask(5)

# Each position predicts the next sentence's vector, trained by regression instead of a softmax over tokens
predicted = lcm(concepts[:, :-1], mask=causal, is_causal=True)
loss = nn.functional.mse_loss(predicted, concepts[:, 1:])
loss.backward()
print(f"Next-concept predictions: {tuple(predicted.shape)}")

يطبع Next-concept predictions: (1, 5, 1024): خمسة تنبؤات، كل منها متجه جملة كامل من 1,024 رقمًا، بينما ينتج النموذج على مستوى الرمز خمسة توزيعات احتمالية على مفرداته. بلغ متوسط عدد الرموز في الجملة في بيانات تدريب Meta نحو 19 رمزًا، لذا يعالج LCM تسلسلات أقصر بنحو 19 مرة من LLM للنص نفسه.

تُستخدم المتجهات على مستوى العبارة من هذا النوع أيضًا في الكشف ذي المفردات المفتوحة. يرمّز Ultralytics YOLOE كل توجيه فئة يُمرر إلى set_classes()، مثل «حافلة بطابقين»، في تضمين نصي واحد من MobileCLIP، ثم يطابق مناطق الصورة مع تلك المتجهات، بحيث يمثّل تضمين واحد العبارة كاملة.

الإصدارات الأساسية والانتشارية والمكمّمة#

تسحب خسارة الانحدار كل تنبؤ نحو متوسط جميع الجمل التالية المحتملة، ما قد ينتج نصًا باهتًا أو مشوشًا عند فك الترميز. لذلك أنشأت Meta أيضًا إصدارات LCM انتشارية، تبدأ فيها متجهات الجملة التالية من ضوضاء ثم تُزال الضوضاء منها تدريجيًا، مع تكييف العملية على الجمل السابقة، مطبقةً نماذج الانتشار على التضمينات. يستخدم إصدار One-Tower محوّلًا واحدًا للسياق وإزالة الضوضاء، بينما يفصلهما إصدار Two-Tower. أما Quant-LCM فيحوّل فضاء SONAR إلى رموز منفصلة باستخدام التكميم المتبقي للمتجهات، ويتنبأ بالرموز الناتجة على نحو يشبه تنبؤ LLM بالرموز.

أجرت Meta مقارناتها باستخدام نماذج ذات 1.6 مليار معلمة مدرّبة على نحو 1.3 تريليون رمز، ثم وسّعت نموذج LCM الانتشاري Two-Tower إلى 7 مليارات معلمة مدرّبة على 142.4 مليار جملة، أي 2.7 تريليون رمز، وأصدرت شيفرة التدريب. وفي تلخيص النصوص دون أمثلة مسبقة باستخدام مجموعة بيانات XLSum عبر 42 لغة، حقق LCM ذو 7 مليارات معلمة درجة Rouge-L مقدارها 23.5 بالإنجليزية، مقابل 20.7 لنموذج Llama-3.1-8B-Instruct.

القيود#

قد يؤدي ضغط جملة في 1,024 رقمًا إلى طمس الأسماء والأرقام والشيفرة الدقيقة، ولا يستطيع مفكّك الترميز المجمد إعادة إنتاج إلا ما يحفظه التضمين. واعتبار جملة واحدة مفهومًا واحدًا خيار عملي، إذ قد تتضمن الجملة عدة أفكار وقد تمتد الفكرة عبر عدة جمل. كما أن فضاء SONAR الثابت يعني أن LCM لا يستطيع تمثيل ما لم يتعلم مُرمِّز SONAR ترميزه، ولهذا استُبعدت ثلاث لغات من أصل 45 في XLSum من التقييم.

نماذج LCM والمصطلحات ذات الصلة#

• نماذج اللغة الكبيرة: تتنبأ بتوزيع على الرموز. ينفّذ LCM نمذجة اللغة في فضاء تضمين الجمل، ويعتمد على مُرمِّز ومفكّك ترميز منفصلين للنص.
• بنية التنبؤ بالتضمين المشترك (JEPA): نهج آخر من Meta يتنبأ بالتمثيلات بدلًا من البيانات الخام، للصور ومقاطع الفيديو أساسًا.
• الاستدلال الكامن: استدلال يجري في الحالات المخفية للنموذج دون كتابة كل خطوة نصيًا.
• نماذج عنق الزجاجة للمفاهيم: مصنّفات تمرر التنبؤات عبر سمات مسماة بشريًا، مثل «له أجنحة»، بهدف الذكاء الاصطناعي القابل للتفسير (XAI).
• نماذج الاتساق الكامنة: تشترك في الاختصار LCM، لكنها نماذج انتشار كامن للصور مقطّرة تولّد الصور في بضع خطوات.