Language Modeling

نمذجة اللغة هي مهمة إسناد احتمال إلى تسلسل من الكلمات أو الرموز. ووفق قاعدة السلسلة في الاحتمالات، P(w1, w2, ..., wn) = P(w1) x P(w2 | w1) x ... x P(wn | w1, ..., wn-1)، لذا فإن النموذج الذي يتنبأ بكل رمز تالٍ انطلاقًا مما سبقه يحدد احتمال أي نص، كما يولّد أخذ عينات من تلك التنبؤات نصوصًا جديدة. ويدرّب هدف التنبؤ بالرمز التالي كل نماذج GPT ومعظم النماذج اللغوية الكبيرة (LLMs)، كما رتّبت نماذج لغوية أصغر المخرجات المرشحة في أنظمة التعرّف على الكلام والترجمة الآلية لعقود قبل ظهور النماذج اللغوية الكبيرة، ولا تزال تقترح الكلمة التالية على لوحات مفاتيح الهواتف.

آلية توليد النموذج اللغوي للنصوص#

يقرأ النموذج المدرّب المطالبة، ويقيّم كل رمز في مفرداته، ثم يحوّل التقييمات إلى احتمالات الرمز التالي باستخدام دالة softmax. وبعد ذلك تختار قاعدة فك ترميز رمزًا، ويضيفه النموذج، ثم تتكرر الحلقة إلى أن يصدر رمز نهاية أو يبلغ حدًا للطول، وهذه هي آلية توليد النصوص:

يوازن أخذ العينات باستخدام درجة حرارة أو أخذ عينات النواة بين الاحتمالية والتنوع. ولأن كل رمز يعتمد على الرموز المكتوبة بالفعل، تصل الإجابة رمزًا تلو الآخر. تمرّر واجهة Ultralytics للنماذج اللغوية الكبيرة stream=True إلى المزوّد، لذا يمكن لمسار YOLO26 الذي يطلب من نموذج وصف مشهد مكتشف طباعة كل جزء نصي فور وروده.

من النماذج ذات n-gram إلى النماذج العصبية#

أنشأ Claude Shannon تقريبات للكلمات والحروف الإنجليزية استنادًا إلى إحصاءات n-gram في ورقته عن نظرية المعلومات عام 1948. ويقدّر نموذج n-gram قيمة P(next word | previous n-1 words) عن طريق إحصاء عدد مرات ظهور تسلسلات الكلمات في مجموعة نصوص، واعتمدت أنظمة IBM للتعرّف على الكلام في سبعينيات القرن العشرين وثمانينياته عليها. ويوضح نموذج bigram، حيث n = 2، الفكرة في بضعة أسطر من Python:

from collections import Counter

sentences = ["the cat sat on the mat .", "the dog sat on the rug .", "the cat saw the dog ."]
corpus = " ".join(sentences).split()

# Count word pairs to estimate P(next word | previous word)
pairs = Counter(zip(corpus, corpus[1:]))
firsts = Counter(corpus[:-1])

# The model's next-word distribution after "the"
print({nxt: round(n / firsts["the"], 2) for (prev, nxt), n in pairs.items() if prev == "the"})

# Chain rule: a sentence's probability is the product of its next-word probabilities
sentence = ["the", "dog", "sat", "on", "the", "mat"]
p = 1.0
for prev, nxt in zip(sentence, sentence[1:]):
    p *= pairs[(prev, nxt)] / firsts[prev]
print(f"P(dog sat on the mat | the) = {p:.4f}")

بعد كلمة "the"، يتنبأ النموذج بكلمتي "cat" و"dog" باحتمال 0.33 لكل منهما، وبكلمتي "mat" و"rug" باحتمال 0.17 لكل منهما. ويمنح الجملة "dog sat on the mat" التي تأتي بعد "the" احتمالًا قدره 0.0278، رغم أن هذه الجملة لم ترد مطلقًا في مجموعة النصوص، لأن كل زوج من كلماتها ورد فيها. ويحصل أي زوج غائب عن المجموعة على احتمال صفر؛ لذلك تحتاج نماذج n-gram العملية إلى أساليب تنعيم مثل Kneser-Ney، كما أنها لا تستطيع الاستفادة من سياق يتجاوز n-1 كلمة.

استبدل نموذج اللغة الاحتمالي العصبي الذي قدّمه Yoshua Bengio وزملاؤه عام 2003 الإحصاءات بـ تضمينات متعلّمة وشبكة عصبية، بحيث تتشارك الكلمات المتشابهة القوة الإحصائية. ووسّعت الشبكات العصبية المتكررة (RNNs) وLSTMs السياق القابل للاستخدام، وأصبحت بنية المحوّل، مع الانتباه الذاتي على امتداد نافذة السياق، البنية المعيارية بعد عام 2017. وأظهر GPT-3 عام 2020 أن نموذجًا لغويًا يضم 175 مليار مُعامل يستطيع تعلم مهام جديدة من أمثلة في مطالبته.

نمذجة اللغة السببية والمقنّعة#

تتنبأ نمذجة اللغة السببية، أو ذاتية الانحدار، بكل رمز انطلاقًا من الرموز التي تسبقه، وهي الهدف الذي تقوم عليه النماذج التوليدية. أما نمذجة اللغة المقنّعة فتحجب بعض الرموز وتتنبأ بها استنادًا إلى السياق على جانبيها. ويُدرّب BERT بهذه الطريقة على 15% من رموز مُدخلاته، ويجعل السياق ثنائي الاتجاه النموذج قويًا في مهام الفهم مثل التصنيف والتعرّف على الكيانات المسماة، لكنه يعجز عن كتابة النصوص من اليسار إلى اليمين. وتوسّع نماذج اللغة بالانتشار آلية الإخفاء لتصبح مولّدًا يملأ مواضع متعددة بالتوازي عبر عدة خطوات.

التدريب والتقييم#

التدريب هو التعلّم ذاتي الإشراف: إذ يوفّر النص الخام تسمياته بنفسه، ويقلل النموذج دالة خسارة الانتروبيا المتقاطعة بين التوزيع الذي يتنبأ به وكل رمز تالٍ فعلي. ويساوي أُس متوسط هذه الخسارة الارتباك، وهو المقياس الداخلي القياسي، وتصف قوانين التوسع كيفية انخفاض الخسارة مع زيادة حجم النماذج والبيانات والحوسبة. لا يواصل النموذج الأساسي المدرّب مسبقًا سوى النصوص، بينما يحوّله كل من الضبط الدقيق للتعليمات والتعلّم المعزّز من التغذية الراجعة البشرية (RLHF) إلى مساعد يتبع الطلبات.

نمذجة اللغة والمصطلحات ذات الصلة#

• النموذج اللغوي والنموذج اللغوي الكبير: النموذج اللغوي هو أي نموذج دُرّب على هذه المهمة، بدءًا من جدول bigram ووصولًا إلى المحوّل. أما النموذج اللغوي الكبير فهو نموذج لغوي يضم مليارات المُعاملات، ودُرّب على تريليونات الرموز.
• معالجة اللغات الطبيعية (NLP): المجال الكامل للحوسبة باستخدام اللغة البشرية، ونمذجة اللغة إحدى مهامه.
• النمذجة البصرية ذاتية الانحدار (VAR): تطبّق أسلوب التنبؤ بالخطوة التالية نفسه على الصور، فتولّد خرائط رموز من المقاييس المكانية الخشنة إلى الدقيقة بدلًا من الكلمات.