Large Language Model (LLM)

نموذج اللغة الكبير (LLM) شبكة عصبية، تكاد تكون دائمًا محوّلًا، يتضمن مليارات المعلمات المدرّبة على تريليونات الرموز للتنبؤ بـالرمز التالي في تسلسل. وينتج عن تطبيق هذا الهدف الواحد على نطاق واسع نماذج تجيب عن الأسئلة وتلخّص المستندات وتترجم وتكتب الشيفرة البرمجية وتستدعي أدوات برمجية. وتُقدّم عائلات GPT من OpenAI وClaude من Anthropic وGemini من Google عبر واجهات API، بينما تنشر Meta's Llama وAlibaba's Qwen وDeepSeek وMistral وgpt-oss من OpenAI أوزانًا مفتوحة. جاء معمار المحوّل من ورقة 2017 Attention Is All You Need، وأظهر GPT-3 في 2020 أن نموذجًا يضم 175 مليار معلمة يمكنه تعلّم المهام من أمثلة في الموجّه، ثم قدّم ChatGPT نماذج LLMs إلى جمهور واسع في نوفمبر 2022.

آلية عمل نماذج LLMs#

يبدأ نموذج LLM بتطبيق تجزئة النص إلى رموز لتحويل النص إلى معرّفات رموز، ثم يبحث عن متجه تضمين لكل منها. تمر المتجهات عبر تكديس من كتل متطابقة، تجمع كل كتلة فيها بين الانتباه الذاتي السببي، الذي يتيح لكل رمز استخلاص المعلومات من الرموز السابقة، وطبقة أمامية تغذية تحوّل كل رمز على حدة. وتنتج الكتلة الأخيرة احتمال softmax لكل رمز في المفردات، فيختار النموذج أحدها ويضيفه ثم يكرر العملية، وهذه هي آلية توليد النص:

يُقاس الحجم بعدد المعلمات، والعديد من النماذج الحديثة متناثرة. في مزيج الخبراء (MoE)، يوجّه موجّه كل رمز عبر عدد قليل من خبراء التغذية الأمامية من بين عدد كبير منهم، لذا يضم DeepSeek-V3 671 مليار معلمة، لكنه يستخدم 37 مليارًا لكل رمز. وقد ارتفع مقدار النص الذي يستطيع النموذج قراءته دفعة واحدة، أي نافذة السياق، من 2,048 رمزًا في GPT-3 إلى مليون رمز أو أكثر في عدد من النماذج الحالية، ويعتمد تقديم هذه المدخلات الطويلة على ذاكرة التخزين المؤقت للمفاتيح والقيم (KV)، التي تخزّن مفاتيح الانتباه وقيمه لكل رمز سابق.

كيفية تدريب نماذج LLMs#

التدريب المسبق هو تعلّم ذاتي الإشراف: يتنبأ النموذج بالرمز التالي في صفحات الويب والكتب والشيفرات، من دون تسميات بشرية. تتنبأ قوانين التوسّع بكيفية انخفاض الخسارة مع زيادة عدد المعلمات والبيانات والحوسبة، ووجدت دراسة Chinchilla من DeepMind أن التدريب الأمثل حسابيًا يستخدم نحو 20 رمزًا لكل معلمة. وتتدرب النماذج الآن بما يتجاوز هذه النسبة بكثير؛ فقد درّبت Meta نموذج Llama 3 مسبقًا على نحو 15 تريليون رمز. يحوّل التدريب اللاحق النموذج الأساسي الناتج إلى مساعد. يعلّمه ضبط التعليمات اتباع الطلبات، وتوائم التعلّم المعزّز من الملاحظات البشرية (RLHF) أو عملية تحسين التفضيلات المباشرة إجاباته مع التفضيلات البشرية؛ وأظهرت نتائج InstructGPT من OpenAI أن المقيّمين فضّلوا نموذجًا مضبوطًا ذا 1.3 مليار معلمة على GPT-3 ذي 175 مليار معلمة. تضيف نماذج الاستدلال مثل o1 من OpenAI وDeepSeek-R1 تعلّمًا معزّزًا واسع النطاق، وفي حالة DeepSeek-R1 تعلّمًا معزّزًا بمكافآت قابلة للتحقق لمسائل الرياضيات والبرمجة ذات الإجابات القابلة للفحص، ما يدربها على كتابة سلاسل استدلال طويلة قبل الإجابة. ثم تكيّف الفرق النموذج مع مجالها باستخدام الضبط الدقيق، غالبًا عبر LoRA، أو تترك الأوزان كما هي وتزوّده بالمعرفة عبر التوليد المعزّز بالاسترجاع (RAG).

التطبيقات#

تشغّل LLMs روبوتات المحادثة والمساعدات، وأدوات البرمجة الوكيلة التي تحرر مستودعات كاملة وتختبرها، وأنظمة البحث والإجابة عن الأسئلة حول المستندات، ووكلاء الذكاء الاصطناعي الذين يخططون لمهام متعددة الخطوات عبر استدعاء الدوال. وتحويل LLM إلى نموذج رؤية ولغة (VLM) بإضافة مُرمِّز صور يجعله قادرًا على الإجابة عن أسئلة حول الصور الفوتوغرافية والرسوم البيانية وإطارات الفيديو. وتقرأ عائلات LLM الرئيسية الصور أيضًا، وتقارن لوحة صدارة VLM من Ultralytics دقة نماذج مثل GPT-6.1 Sol وClaude Opus 5.5 وGemini 4 Argon في كشف الأجسام ضمن مجموعات بيانات واقعية. وترسل واجهة Ultralytics لـLLM النصوص أو الصور إلى نماذج متوافقة مع OpenAI من OpenAI أو DeepSeek أو Kimi أو Z.AI أو OpenRouter أو خادم محلي، بحيث لا يستدعي مسار YOLO26 نموذج LLM إلا عند الحاجة إلى تفسير كشف ما، مثل وصف مشهد عند ظهور شخص.

نموذج LLM مقارنةً بالمصطلحات ذات الصلة#

• معالجة اللغة الطبيعية (NLP): مجال الحوسبة باستخدام اللغة البشرية. وتمثل نماذج LLMs اليوم نوع النماذج السائد فيه.
• الذكاء الاصطناعي التوليدي: أي نموذج ينشئ محتوى جديدًا، بما في ذلك مولدات الصور والصوت والفيديو.
• النموذج التأسيسي: الفئة الأوسع التي أطلق باحثو Stanford اسمها في 2021 على النماذج الكبيرة المدرّبة مسبقًا على بيانات واسعة والمكيّفة لمهام عديدة. وتشمل نماذج التأسيس البصرية ونماذج LLMs.
• نموذج اللغة الصغير (SLM): نموذج لغوي صغير بما يكفي للتشغيل على الهواتف أو الحواسيب المحمولة أو خدمة منخفضة التكلفة، وعادةً ما يضم بضعة مليارات من المعلمات أو أقل.

القيود#

تنتج النماذج اللغوية الكبيرة نصًا سلسًا سواء أكان صحيحًا أم لا، لذا تظل الهلوسات الخطر الأكبر في الأعمال المعتمدة على الحقائق، ولا يعرف النموذج شيئًا عما بعد تاريخ انتهاء تدريبه ما لم توفره أدوات أو عملية استرجاع. وتنقل بيانات التدريب تحيزاتها إلى النموذج، كما يمكن للتعليمات المخفية في صفحات الويب أو المستندات اختطاف الوكيل عبر حقن الموجّه. وتنخفض الدقة أيضًا مع طول السياقات كثيرًا، وهو أثر يُسمّى تدهور السياق. ويتطلب تقديم النماذج اللغوية الكبيرة ذاكرة كبيرة أيضًا: يحتاج نموذج ذو 70 مليار معلمة إلى نحو 140 GB لأوزانه بدقة 16 بت، ونحو 35 GB بدقة 4 بت، لذا تتيح تنسيقات تكميم النماذج مثل GGUF تشغيل هذه النماذج على محطة عمل واحدة.