تعرّف على Llama 3.1: أحدث عائلة نماذج مفتوحة المصدر من Meta

في 23 يوليو 2024، أصدرت Meta عائلة Llama 3.1 الجديدة مفتوحة المصدر من النماذج، وتضم النموذج متعدد الاستخدامات 8B، والنموذج القوي 70B، ونموذج Llama 3.1 405B، الذي تميز بكونه أكبر نموذج لغوي كبير (LLM) مفتوح المصدر عند إصداره.

قد تتساءل عما يميز هذه النماذج الجديدة عن سابقاتها. ويشكّل إصدار نماذج Llama 3.1 محطة مهمة في تكنولوجيا الذكاء الاصطناعي. وتقدم النماذج الجديدة تحسينات كبيرة في معالجة اللغة الطبيعية، كما تقدم ميزات وتحسينات لم تتوفر في الإصدارات السابقة. ويَعِد هذا الإصدار بتغيير طريقة الاستفادة من الذكاء الاصطناعي في المهام المعقدة، إذ يوفر مجموعة أدوات قوية للباحثين والمطورين على حد سواء.

سنستعرض في هذا المقال عائلة نماذج Llama 3.1، ونتناول بنيتها والتحسينات الرئيسية واستخداماتها العملية، فضلًا عن مقارنة مفصّلة لأدائها.

ما Llama 3.1؟#

تحقق Llama 3.1 من Meta تقدمًا كبيرًا في مجال الذكاء الاصطناعي، وتنافس قدرات النماذج الرائدة مثل GPT-4o من OpenAI وClaude 3.5 Sonnet من Anthropic.

رغم أن إصدار هذا النموذج قد يُعد تحديثًا طفيفًا لنموذج Llama 3 السابق، فقد اتخذت Meta خطوة إضافية إلى الأمام بإدخال تحسينات رئيسية على عائلة النماذج الجديدة، ومنها:

• دعم ثماني لغات: تشمل الإنجليزية والألمانية والفرنسية والإيطالية والبرتغالية والهندية والإسبانية والتايلاندية، ما يوسّع نطاق الوصول إلى جمهور عالمي.
• نافذة سياق بسعة 128,000 رمز: تتيح للنماذج معالجة مدخلات أطول بكثير والحفاظ على السياق عبر محادثات أو مستندات ممتدة.
• قدرات استدلال أفضل: تتيح للنماذج أن تكون أكثر تنوعًا وقدرة على إدارة المهام المعقدة بفاعلية.
• سلامة صارمة: أُجريت اختبارات للحد من المخاطر وتقليل التحيزات ومنع المخرجات الضارة، بما يعزز الاستخدام المسؤول للذكاء الاصطناعي.

إضافة إلى كل ما سبق، تبرز عائلة نماذج Llama 3.1 الجديدة تقدمًا كبيرًا بفضل نموذجها المذهل ذي 405 مليارات معلمة. ويمثل هذا العدد الكبير من المعلمات قفزة مهمة في تطوير الذكاء الاصطناعي، إذ يعزز إلى حد بعيد قدرة النموذج على فهم النصوص المعقدة وإنشائها. ويضم نموذج 405B مجموعة واسعة من المعلمات، تشير كل منها إلى الأوزان والانحيازات في الشبكة العصبية التي يتعلمها النموذج أثناء التدريب. ويتيح ذلك للنموذج التقاط أنماط لغوية أكثر تعقيدًا، ووضع معيار جديد للنماذج اللغوية الكبيرة وإبراز الإمكانات المستقبلية لتكنولوجيا الذكاء الاصطناعي. ولا يقتصر أثر هذا النموذج واسع النطاق على تحسين الأداء في طيف واسع من المهام، بل يتجاوز ذلك إلى توسيع آفاق ما يمكن أن يحققه الذكاء الاصطناعي في توليد النصوص وفهمها.

بنية النموذج#

يعتمد Llama 3.1 بنية نموذج المحوّل الذي يقتصر على فك الترميز، وهي ركيزة أساسية للنماذج اللغوية الكبيرة الحديثة. وتشتهر هذه البنية بكفاءتها وفاعليتها في التعامل مع مهام اللغة المعقدة. ويتيح استخدام المحوّلات لـ Llama 3.1 التميّز في فهم النصوص الشبيهة بالنصوص البشرية وإنشائها، ما يمنحه ميزة كبيرة على النماذج التي تستخدم بنى أقدم، مثل LSTMs وGRUs.

بالإضافة إلى ذلك، تستخدم عائلة نماذج Llama 3.1 محوّلًا كثيفًا قياسيًا بدلًا من بنية مزيج الخبراء (MoE)، وهو خيار مقصود يعزز كفاءة التدريب واستقراره. ويضمن تجنب بنية MoE عملية تدريب أكثر اتساقًا وموثوقية، إذ قد تؤدي بنية MoE أحيانًا إلى تعقيدات تؤثر في استقرار النموذج وأدائه.

الشكل 1. رسم تخطيطي يوضّح بنية نموذج المحوّل Llama 3.1.

تعمل بنية نموذج Llama 3.1 على النحو الآتي:

1. رموز النص المُدخل: تبدأ العملية بالنص المُدخل الذي يتكون من رموز نصية. وهذه الرموز وحدات نصية منفردة، مثل الكلمات أو أجزاء الكلمات، يعالجها النموذج.

2. تضمينات الرموز: تُحوّل الرموز النصية بعد ذلك إلى تضمينات للرموز. والتضمينات تمثيلات متجهية كثيفة للرموز، تلتقط معانيها الدلالية والعلاقات بينها ضمن النص. ويُعد هذا التحويل بالغ الأهمية لأنه يتيح للنموذج التعامل مع البيانات الرقمية.

3. آلية الانتباه الذاتي: تتيح آلية الانتباه الذاتي للنموذج تقدير أهمية الرموز المختلفة في تسلسل الإدخال عند ترميز كل رمز. وتساعد هذه الآلية النموذج على فهم السياق والعلاقات بين الرموز، بصرف النظر عن مواضعها في التسلسل. وفي آلية الانتباه الذاتي، يُمثّل كل رمز في تسلسل الإدخال بمتجه من الأرقام. وتُستخدم هذه المتجهات لإنشاء ثلاثة أنواع مختلفة من التمثيلات: الاستعلامات والمفاتيح والقيم.

يحسب النموذج مقدار الانتباه الذي ينبغي أن يوجّهه كل رمز إلى الرموز الأخرى من خلال مقارنة متجهات الاستعلام بمتجهات المفاتيح. وتنتج عن هذه المقارنة درجات تشير إلى مدى صلة كل رمز بالرموز الأخرى.

4. الشبكة الأمامية: بعد عملية الانتباه الذاتي، تمر البيانات عبر شبكة أمامية. وهذه الشبكة شبكة عصبية كاملة الاتصال تطبّق تحويلات غير خطية على البيانات، ما يساعد النموذج على التعرّف إلى الأنماط المعقدة وتعلّمها.

5. الطبقات المتكررة: تُكدّس طبقات الانتباه الذاتي والشبكة الأمامية مرات متعددة. ويتيح هذا التطبيق المتكرر للنموذج التقاط تبعيات وأنماط أكثر تعقيدًا في البيانات.

6. رمز النص الناتج: أخيرًا، تُستخدم البيانات المعالجة لتوليد رمز النص الناتج. وهذا الرمز هو توقّع النموذج للكلمة التالية أو جزء الكلمة التالي في التسلسل، استنادًا إلى سياق الإدخال.

أداء عائلة نماذج Llama 3.1 ومقارنتها بالنماذج الأخرى#

تكشف اختبارات المعايير أن Llama 3.1 لا تصمد أمام هذه النماذج المتقدمة فحسب، بل تتفوق عليها أيضًا في بعض المهام، ما يبرهن على أدائها القوي.

Llama 3.1 405B: سعة عالية#

خضع نموذج Llama 3.1 لتقييمات مكثفة على أكثر من 150 مجموعة بيانات معيارية، وقورن بدقة بنماذج لغوية كبيرة رائدة أخرى. وقورن نموذج Llama 3.1 405B، الذي عُدّ الأقوى في السلسلة الصادرة حديثًا، بنماذج رائدة مثل GPT-4 من OpenAI وClaude 3.5 Sonnet. وتُظهر نتائج هذه المقارنات أن Llama 3.1 يتمتع بميزة تنافسية، إذ يقدم أداءً وقدرات متفوقة في مهام متنوعة.

الشكل 2. جدول يقارن أداء نموذج Llama 3.1 405B بأداء نماذج مماثلة.

يتيح العدد المذهل من معلمات هذا النموذج وبنيته المتقدمة له التميّز في الفهم المعقد وتوليد النصوص، وغالبًا ما يتجاوز منافسيه في معايير محددة. وتبرز هذه التقييمات إمكانات Llama 3.1 في وضع معايير جديدة في مجال النماذج اللغوية الكبيرة، من خلال تزويد الباحثين والمطورين بأداة قوية لتطبيقات متنوعة.

Llama 3.1 70B: متوسط الحجم#

تُظهر نماذج Llama الأصغر والأخف وزناً أيضاً أداءً قوياً مقارنةً بنظيراتها. وقد قُيّم نموذج Llama 3.1 70B مقابل نماذج أكبر مثل Mixtral 8x22B وGPT-3.5 Turbo. فعلى سبيل المثال، يُظهر نموذج Llama 3.1 70B باستمرار أداءً متفوقاً في معايير قياس الاستدلال، مثل ARC Challenge، ومعايير قياس البرمجة، مثل HumanEval. وتبرز هذه النتائج تنوع سلسلة Llama 3.1 ومتانتها عبر أحجام النماذج المختلفة، مما يجعلها أداة قيّمة لمجموعة واسعة من التطبيقات.

Llama 3.1 8B: خفيف الوزن#

إضافةً إلى ذلك، قورن نموذج Llama 3.1 8B بنماذج مماثلة الحجم، منها Gemma 2 9B وMistral 7B. وتُظهر هذه المقارنات تفوق نموذج Llama 3.1 8B على منافسيه في مجموعات بيانات معيارية متنوعة ضمن مجالات مختلفة، مثل مجموعة بيانات GPQA للاستدلال وMBPP EvalPlus للبرمجة، ما يبرز كفاءته وقدراته رغم قلة عدد معاملاته.

الشكل 3. جدول يقارن أداء نموذجي Llama 3.1 70B و8B بأداء نماذج مماثلة.

كيف يمكنك الاستفادة من نماذج عائلة Llama 3.1؟#

أتاحت Meta استخدام النماذج الجديدة بطرق عملية ومفيدة متنوعة:

الضبط الدقيق#

أصبح بإمكان المستخدمين الآن ضبط نماذج Llama 3.1 لمواءمتها مع حالات استخدام محددة. وتتضمن هذه العملية تدريب النموذج على بيانات خارجية جديدة لم يسبق له الاطلاع عليها، ما يعزز أداءه وقدرته على التكيف مع التطبيقات المستهدفة. ويمنح الضبط الدقيق النموذج ميزة كبيرة، إذ يساعده على فهم المحتوى ذي الصلة بمجالات أو مهام محددة وتوليده بصورة أفضل.

الدمج في نظام RAG#

يمكن الآن دمج نماذج Llama 3.1 في أنظمة التوليد المعزز بالاسترجاع (RAG). ويتيح هذا الدمج للنموذج الاستفادة ديناميكيًا من مصادر البيانات الخارجية، ما يعزز قدرته على تقديم إجابات دقيقة وذات صلة بالسياق. ومن خلال استرجاع المعلومات من مجموعات بيانات ضخمة وإدراجها في عملية التوليد، تحسن Llama 3.1 أداءها كثيرًا في المهام كثيفة المعرفة، وتوفر للمستخدمين مخرجات أدق وأكثر استنادًا إلى المعلومات.

توليد البيانات الاصطناعية#

يمكنك أيضًا استخدام النموذج ذي 405 مليارات معلمة لتوليد بيانات اصطناعية عالية الجودة، ما يحسّن أداء النماذج المتخصصة في حالات استخدام محددة. ويستفيد هذا النهج من الإمكانات الواسعة لـ Llama 3.1 لإنتاج بيانات موجّهة وذات صلة، ما يحسّن بدوره دقة تطبيقات الذكاء الاصطناعي المصممة لأغراض محددة وكفاءتها.

أهم الخلاصات#

يمثل إصدار Llama 3.1 قفزة كبيرة إلى الأمام في مجال النماذج اللغوية الكبيرة، ويبرز التزام Meta بتطوير تكنولوجيا الذكاء الاصطناعي.

بفضل العدد الكبير من معلماته، والتدريب المكثف على مجموعات بيانات متنوعة، والتركيز على عمليات تدريب متينة ومستقرة، يضع Llama 3.1 معايير جديدة للأداء والقدرات في معالجة اللغة الطبيعية. وسواء أكان ذلك في توليد النصوص أم تلخيصها أم تنفيذ مهام المحادثة المعقدة، يُظهر Llama 3.1 تفوقًا تنافسيًا على النماذج الرائدة الأخرى. ولا يقتصر هذا النموذج على توسيع آفاق ما يستطيع الذكاء الاصطناعي تحقيقه اليوم، بل يمهّد الطريق أيضًا لابتكارات مستقبلية في مشهد الذكاء الاصطناعي المتطور باستمرار.

نكرّس جهودنا في Ultralytics لتوسيع حدود تكنولوجيا الذكاء الاصطناعي. وللاطلاع على حلولنا في الذكاء الاصطناعي ومتابعة أحدث ابتكاراتنا، تفقّد مستودع GitHub. وانضم إلى مجتمعنا على Discord، واكتشف كيف نعيد تشكيل قطاعات مثل السيارات ذاتية القيادة والتصنيع!