Diffusion Language Models

ينشئ نموذج اللغة بالانتشار النص بدءًا من تسلسل مشوّه بالكامل، يتألف عادةً من رموز قناع، ثم ينقّح مواضع عديدة بالتوازي عبر سلسلة من خطوات إزالة الضوضاء، بينما يكتب النموذج اللغوي الكبير (LLM) التقليدي رمزًا واحدًا في كل مرة من اليسار إلى اليمين. وينقل النموذج الفكرة الكامنة وراء نماذج الانتشار للصور إلى النصوص المتقطعة: إذ تدمر عملية أمامية التسلسل تدريجيًا، ويتعلم المحوّل عكس هذه العملية. وبلغ هذا النهج نطاق الإنتاج في 2025. وكان LLaDA، وهو نموذج انتشار يضم 8 مليارات معلمة ودُرّب من الصفر، منافسًا لـ LLaMA3 8B في التعلم ضمن السياق؛ وعملت نماذج Mercury Coder من Inception Labs بسرعة 1,109 و737 رمزًا في الثانية على وحدات معالجة الرسومات NVIDIA H100 في اختبارات مستقلة؛ كما يسجل نموذج Gemini Diffusion التجريبي من Google DeepMind متوسط سرعة أخذ عينات يبلغ 1,479 رمزًا في الثانية.

آلية عمل الانتشار المقنّع#

يستخدم LLaDA ومعظم النماذج الحديثة الأخرى الانتشار المقنّع، أو انتشار حالة الامتصاص. تختار العملية الأمامية مستوى ضوضاء t بين 0 و1، وتستبدل كل رمز برمز قناع باحتمال t:

import torch

torch.manual_seed(6)
tokens = ["the", "cat", "sat", "on", "the", "warm", "mat", "by", "the", "door"]

# Forward process of a masked diffusion LM: at noise level t, each token is masked with probability t
for t in [0.25, 0.5, 0.75, 1.0]:
    masked = torch.rand(len(tokens)) < t
    noisy = ["[M]" if m else token for token, m in zip(tokens, masked)]
    print(f"t={t:.2f}: {' '.join(noisy)}")

تعرض عملية التشغيل الجملة مع إخفاء 2 ثم 5 ثم 8 كلمات، وأخيرًا الكلمات العشر كلها. أثناء التدريب، يرى المحوّل الذي لا يستخدم قناعًا سببيًا تسلسلًا من هذا النوع ويتنبأ بكل رمز مخفي دفعة واحدة، باستخدام دالة خسارة الانتروبيا المتقاطعة على المواضع المخفية، التي يزنها LLaDA بمقدار 1/t. يعمم هذا الهدف نمذجة اللغة المقنّعة في BERT، التي تتنبأ دائمًا بـ15% من الرموز، لتشمل كل نسب الإخفاء، كما يضع حدًا لاحتمالية النموذج اللوغاريتمية، لتكون النتيجة نموذجًا توليديًا كاملًا.

يُجرى التوليد عكسيًا بدءًا من t = 1. في كل خطوة، يتنبأ النموذج بكل المواضع المقنّعة، ويعتمد التنبؤات الأكثر ثقة، ثم يعيد إخفاء بقية المواضع؛ وتسمّي LLaDA هذه الاستراتيجية إعادة الإخفاء منخفضة الثقة. وغالبًا ما تُنتج المخرجات الطويلة كتلةً تلو أخرى، وفق نهج جرى إضفاء طابع رسمي عليه باسم انتشار الكتل، بما يتيح تخزين الكتل السابقة مؤقتًا، دون الحاجة إلى تحديد طول المخرجات مسبقًا:

من D3PM إلى نماذج الإنتاج#

عرّف D3PM من Google الانتشار على الحالات المتقطعة عام 2021، بما في ذلك حالة القناع الامتصاصية التي تستخدمها معظم النماذج الآن. ونشر Diffusion-LM من Stanford تضمينات الكلمات المستمرة بالانتشار عام 2022 لتوجيه النص المُنشأ نحو قيود النحو والموضوع. وخفّض SEDD، الذي طوّره Aaron Lou وChenlin Meng وStefano Ermon وفاز بجائزة أفضل ورقة في ICML 2024، الالتباس في نماذج الانتشار النصي السابقة بنسبة 25% إلى 75%، وتفوق على GPT-2. ثم أظهر LLaDA قابلية توسيع النهج إلى مليارات المعلمات، وتفوق على GPT-4o في مهمة إكمال قصيدة معكوسة تختبر لعنة الانعكاس في النماذج التي تعمل من اليسار إلى اليمين، بفضل قراءته للسياق في الاتجاهين. وتقدم Inception نموذج Mercury عبر واجهة برمجة تطبيقات Chat Completions المتوافقة مع OpenAI، لذا يمكن لـ واجهة Ultralytics للنماذج اللغوية الكبيرة استدعاؤه باستخدام api="chat.completions" وbase_url الخاص بـ Inception، مثلًا لتحويل كشوف YOLO26 إلى تقرير مكتوب.

نقاط القوة والمفاضلات#

يتطلب إلغاء القناع بالتوازي عددًا من التمريرات الأمامية أقل من عدد الرموز، وهذا هو مصدر السرعة، وتتراجع الجودة كلما قل عدد الخطوات التي تعتمد مزيدًا من الرموز في كل منها. وتُؤخذ عينات الرموز التي يُعتمد عليها في الخطوة نفسها بصورة مستقلة، لذا قد يؤدي اعتماد عدد كبير منها دفعة واحدة إلى توليفات غير متناسقة. كما تتناول كل خطوة الكتلة بأكملها في الاتجاهين، ما يجعلها أعلى تكلفة من خطوة واحدة في نموذج ذاتي الانحدار مع ذاكرة KV المؤقتة. ويجعل السياق ثنائي الاتجاه ملء الفراغات والتحرير أمرًا طبيعيًا: إذ يستطيع النموذج ملء فجوة في منتصف دالة أو مستند باستخدام النص على جانبيها، وهو ما يلائم أدوات إكمال الشيفرة والبرمجة الوكيلة التي تحرر الملفات الموجودة.

نماذج الانتشار اللغوية مقارنةً بالمصطلحات ذات الصلة#

• توليد النص ذاتي الانحدار: يتنبأ بكل رمز اعتمادًا على الرموز التي تسبقه، بتمرير أمامي واحد لكل رمز.
• انتشار الصور: تضيف Stable Diffusion وغيرها من نماذج الانتشار الكامنة ضوضاء غاوسية إلى وحدات البكسل أو التمثيلات الكامنة المستمرة، وغالبًا ما تستخدم محوّل الانتشار (DiT) لإزالة الضوضاء.
• فرض الانتشار: يمنح كل رمز مستوى ضوضاء خاصًا به، ويمزج التنبؤ بالرمز التالي مع انتشار التسلسل الكامل، ويُستخدم أساسًا للفيديو والتخطيط.
• فك الترميز التخميني: يسرّع نموذجًا ذاتي الانحدار عبر صياغة عدة رموز باستخدام نموذج أصغر، ثم التحقق منها بتمرير واحد عبر النموذج الكبير، دون تغيير توزيع مخرجاته.