Text Generation

توليد النصوص هو الإنتاج الآلي للغة المكتوبة بواسطة نموذج، من رد من سطر واحد إلى تقرير كامل أو برنامج. ويُنجز ذلك اليوم في الغالب بواسطة النماذج اللغوية الكبيرة (LLMs) التي تعمل بطريقة تنبؤية ذاتية الانحدار: فاستجابةً لموجّه، يحسب النموذج احتمال كل رمز في مفرداته، ويختار أحدها، ويضيفه، ثم يكرر العملية حتى يقرر التوقف. وتحرّك هذه الحلقة مساعدات المحادثة وإكمال الشيفرات والترجمة الآلية وتلخيص النصوص. أما الأنظمة الأقدم فكانت تملأ القوالب أو تأخذ عينات من نماذج n-gram والشبكات العصبية المتكررة، وجعل المحوّل إنتاج نصوص طويلة ومتماسكة عمليًا منذ GPT-2 عام 2019.

آلية التوليد ذاتي الانحدار#

تحوّل عملية ترميز الرموز الموجّه إلى معرّفات الرموز، ويعالج النموذج هذه المعرّفات كلها في تمريرة تمهيدية متوازية واحدة، مع تخزين مفاتيح وقيم الانتباه لكل رمز في ذاكرة KV المؤقتة. بعد ذلك، لا تمرر كل خطوة فك ترميز إلى النموذج إلا الرمز الأحدث، وتقرأ الذاكرة المؤقتة، وتنتج درجات أولية، أي درجة خام لكل عنصر في المفردات، تحوّلها دالة softmax إلى احتمالات. وتختار استراتيجية فك الترميز الرمز التالي، الذي يُبث إلى المستخدم ويُضاف إلى التسلسل. ويتوقف التوليد عند رمز نهاية التسلسل أو سلسلة توقف أو بلوغ حد الرموز، لذا يتحدد طول الناتج أثناء التوليد:

تتطلب المرحلة التمهيدية حسابات كثيفة، بينما تحد عرض نطاق الذاكرة من سرعة فك الترميز؛ لذا يجدول محرك التقديم المرحلتين بعناية، مثلًا باستخدام التمهيد المجزّأ. والبث هو الطريقة التي تعرض بها التطبيقات النص لحظة ظهوره: إذ تمرر واجهة Ultralytics لنماذج LLM stream=True إلى OpenAI SDK، ما يتيح لتطبيق YOLO26 طباعة وصف النموذج لمشهد مكتشف رمزًا تلو الآخر عند وصول كل حدث response.output_text.delta.

استراتيجيات فك الترميز#

تؤثر استراتيجية فك الترميز في الناتج بقدر تأثير النموذج. يختار فك الترميز الجشع دائمًا الرمز الأرجح، ما يجعله حتميًا لكنه يميل إلى التكرار. ويحتفظ بحث الحزمة بأكثر k تسلسلات جزئية احتمالًا، ثم يعيد أفضل تسلسل مكتمل، وهو مناسب للمهام ذات الإجابة الصحيحة الواحدة، مثل الترجمة. أما أخذ العينات فيختار من التوزيع، عادةً بعد إعادة تشكيله: إذ تقسم درجة الحرارة الدرجات الأولية قبل softmax، ويحتفظ أخذ عينات top-k بأكثر k رموز احتمالًا، بينما يحتفظ أخذ عينات النواة (top-p)، الذي اقترحه Holtzman وآخرون في The Curious Case of Neural Text Degeneration عام 2019، بأصغر مجموعة من الرموز التي يبلغ مجموع احتمالاتها p. يوضح مثال لمفردات من خمسة رموز في PyTorch أثر الطريقتين:

import torch

# Next-token logits over a five-word vocabulary after the prompt "I took the"
vocab = ["bus", "train", "car", "stairs", "banana"]
logits = torch.tensor([3.0, 2.4, 1.8, 0.6, -2.0])

# Temperature divides the logits: low values sharpen the distribution, high values flatten it
for temperature in [0.5, 1.0, 1.5]:
    probs = torch.softmax(logits / temperature, dim=-1)
    print(f"T={temperature}:", ", ".join(f"{w} {p:.2f}" for w, p in zip(vocab, probs)))

# Top-p (nucleus) sampling keeps the smallest set of tokens whose probabilities reach p
probs, order = torch.softmax(logits, dim=-1).sort(descending=True)
keep = probs.cumsum(dim=-1) - probs < 0.9
print("Top-p 0.9 keeps:", [vocab[i] for i in order[keep]])

# Sample from the renormalized nucleus
torch.manual_seed(0)
picks = torch.multinomial(probs[keep] / probs[keep].sum(), num_samples=10, replacement=True)
print("Samples:", [vocab[order[i]] for i in picks])

عند درجة حرارة 0.5، يبلغ احتمال "bus" مقدار 0.71؛ وعند 1.5 ينخفض إلى 0.42، بينما يرتفع احتمال "banana" من 0.00 إلى 0.02. يحتفظ top-p بقيمة 0.9 بالرموز "bus" و"train" و"car"، التي يبلغ مجموع احتمالها 0.95، لذلك يستحيل أخذ عينات من "stairs" و"banana"، وتنتج عشر سحوبات مزيجًا متنوعًا من الرموز الثلاثة المتبقية. وتؤثر ضوابط أخرى في الدرجات الأولية نفسها: إذ تخفّض عقوبات التكرار درجات الرموز المستخدمة بالفعل، بينما تخفي عملية فك الترميز المقيّدة كل رمز من شأنه مخالفة قواعد النحو أو مخطط JSON، وهي الطريقة التي تضمن بها واجهات API المخرجات المنظّمة. ويسرّع فك الترميز الاستدلالي التوليد، إذ يتيح لنموذج مسودة صغير اقتراح عدة رموز يتحقق منها النموذج الكبير في تمريرة واحدة.

توليد النصوص والمصطلحات ذات الصلة#

• نمذجة اللغة: تعلّم احتمال الرمز التالي، وهو هدف التدريب الذي يتيح التوليد. أما التوليد فهو استخدام ذلك النموذج وقت الاستدلال.
• نماذج التسلسل إلى التسلسل: نماذج المشفّر وفاك الترميز التي تولّد نصًا ناتجًا من إدخال منفصل، كما في الترجمة. وتتعامل نماذج LLM ذات مفكّك الترميز فقط مع المهام نفسها عبر مواصلة الموجّه.
• نماذج اللغة الانتشارية: تولّد مقطعًا كاملًا بتحسين جميع المواضع بالتوازي عبر عدة خطوات لإزالة الضوضاء، بدلًا من توليد رمز واحد في كل مرة.
• تحويل النص إلى صورة: يأخذ نصًا مدخلًا وينتج وحدات بكسل.

الجودة والمخاطر#

النص المولّد سلس سواء أكان صحيحًا أم لا، لذا تمثل الهلوسات الخطر الرئيسي في الأعمال التي تتطلب الدقة الواقعية، ويحدّ منها التوليد المعزز بالاسترجاع (RAG) عبر وضع المستندات المصدرية في المطالبة. تجعل درجات الحرارة المنخفضة الإجابات أكثر قابلية للتكرار، فيما تضيف درجات الحرارة المرتفعة تنوعًا إلى جانب زيادة احتمال اختيار رمز غير مرجح وخاطئ. ويصعب أيضًا تمييز النص المكتوب آليًا، ما يدفع الأبحاث في العلامات المائية للذكاء الاصطناعي. وفي ورقة GPT-3 البحثية لعام 2020، لم تتجاوز صحة إجابات الأشخاص الذين طُلب منهم تمييز مقالات إخبارية من 200 كلمة كتبها النموذج ذو 175 مليار معلمة عن المقالات التي كتبها البشر 52%.