التعرّف على Llama 3 من Meta

عندما استعرضنا ابتكارات الذكاء الاصطناعي (AI) في الربع الأول من عام 2024، لاحظنا أن النماذج اللغوية الكبيرة (LLMs) كانت تُطرح تباعًا من مؤسسات مختلفة. ومواصلةً لهذا الاتجاه، أطلقت Meta في 18 أبريل 2024 Llama 3، وهو نموذج لغوي كبير مفتوح المصدر من الجيل التالي، ومتطور وفق أحدث المعايير.

قد تفكر قائلًا: إنه مجرد نموذج لغوي كبير آخر. فلماذا يبدي مجتمع الذكاء الاصطناعي كل هذا الحماس تجاهه؟

مع أنه يمكنك ضبط نماذج مثل GPT-3 أو Gemini لتقديم إجابات مخصصة، فإنها لا توفر شفافية كاملة بشأن آلية عملها الداخلية، مثل بيانات التدريب أو معلمات النموذج أو الخوارزميات. وعلى النقيض من ذلك، يتسم Llama 3 من Meta بقدر أكبر من الشفافية، إذ تتاح بنيته وأوزانه للتنزيل. وهذا يمنح مجتمع الذكاء الاصطناعي حرية أكبر لإجراء التجارب.

في هذه المقالة، سنتعرف على إمكانات Llama 3، وكيف ظهر، وتأثيره في مجال الذكاء الاصطناعي.

تطور نماذج Llama من Meta#

قبل أن نتعمق في Llama 3، لنلقِ نظرة على إصداراته السابقة.

أطلقت Meta نموذج Llama 1 في فبراير 2023، وجاء بأربعة أنواع تراوحت معلماتها بين 7 مليارات و65 مليارًا. في التعلم الآلي، تشير «المعلمات» إلى عناصر النموذج التي يتعلمها من بيانات التدريب. وبسبب العدد الأقل من المعلمات، واجه Llama 1 أحيانًا صعوبة في فهم الفروق الدقيقة، وقدم إجابات غير متسقة.

بعد وقت قصير من إطلاق Llama 1، أطلقت Meta إصدار Llama 2 في يوليو 2023. وقد دُرّب على تريليوني رمز. والرمز جزء من النص، مثل كلمة أو جزء من كلمة، ويُستخدم وحدةً أساسيةً للبيانات أثناء المعالجة في النموذج. كما تضمّن النموذج تحسينات، مثل مضاعفة نافذة السياق إلى 4096 رمزًا لفهم المقاطع الأطول، والاستعانة بأكثر من مليون تعليق بشري لتقليل الأخطاء. وعلى الرغم من هذه التحسينات، ظل Llama 2 يتطلب قدرًا كبيرًا من القدرة الحاسوبية، وهو ما سعت Meta إلى معالجته في Llama 3.

تقديم Llama 3 من Meta#

يتوفر Llama 3 بأربعة إصدارات دُرّبت على 15 تريليون رمز مذهل. وشكّلت البيانات عالية الجودة بغير الإنجليزية أكثر من 5% من بيانات التدريب، وشملت أكثر من 30 لغة. ويمكن تشغيل جميع إصدارات Llama 3 على أنواع مختلفة من عتاد المستهلكين، ويبلغ طول السياق فيها 8k رمزاً.

الشكل 1. مقارنة بين Llama 3 وLlama 2.

تأتي إصدارات النموذج بحجمين: 8B و70B، أي 8 مليارات و70 مليار معلمة على التوالي. كما يتوفر إصداران: أساسي وتعليمي. وتشير «الأساسي» إلى الإصدار القياسي المدرّب مسبقاً. أما «التعليمي» فهو إصدار ضُبط بدقة لاتباع التعليمات وحُسّن لحالات استخدام الحوار.

فيما يلي أنواع نماذج Llama 3:

• Meta-Llama-3-8b: يقدم النموذج الأساسي 8B إمكانات أساسية للذكاء الاصطناعي، وهو مثالي للمهام العامة مثل تطوير روبوتات محادثة لخدمة العملاء.
• Meta-Llama-3-8b-instruct: إصدار تعليمي مضبوط بدقة من النموذج 8B، ومحسّن لمهام محددة. ويمكن، على سبيل المثال، استخدامه لإنشاء أدوات تعليمية تشرح الموضوعات المعقدة.
• Meta-Llama-3-70b: صُمم النموذج الأساسي 70B لتطبيقات الذكاء الاصطناعي عالية الأداء. ويناسب هذا النموذج تطبيقات مثل معالجة كميات كبيرة من الأدبيات الطبية الحيوية لأغراض اكتشاف الأدوية.
• Meta-Llama-3-70b-instruct: نُسخت هذه النسخة وضُبطت بدقة انطلاقًا من نموذج 70B للتطبيقات التي تتطلب دقة عالية، مثل تحليل الوثائق القانونية أو الطبية، حيث تكون الدقة بالغة الأهمية.

بنية نموذج Llama 3 من Meta#

كما هو الحال مع سائر ابتكارات الذكاء الاصطناعي من Meta، طُبقت إجراءات صارمة لمراقبة الجودة للحفاظ على سلامة البيانات والحد من التحيزات أثناء تطوير Llama 3. والنتيجة نموذج قوي طُوّر بمسؤولية.

تتميز بنية نموذج Llama 3 بتركيزها على الكفاءة والأداء في مهام معالجة اللغة الطبيعية. وقد بُني النموذج على إطار عمل قائم على Transformer، ويركز على الكفاءة الحاسوبية، ولا سيما أثناء توليد النصوص، باستخدام بنية تقتصر على وحدة فك الترميز.

ينشئ النموذج مخرجاته اعتمادًا على السياق السابق وحده، من دون مُرمِّز منفصل، ما يحافظ على كفاءة توليد النصوص.

الشكل 2. بنية نموذج Llama 3 المسؤول.

تستخدم نماذج Llama 3 أداة ترميز تضم مفرداتها 128K رمزًا. ويتيح اتساع المفردات للنماذج فهم النصوص ومعالجتها على نحو أفضل. كما تستخدم النماذج الآن انتباه الاستعلامات المجمّعة (GQA) لتحسين كفاءة الاستدلال. وتتيح GQA لمجموعات من رؤوس الانتباه مشاركة المفاتيح والقيم نفسها، ما يقلل استهلاك الذاكرة ويسرّع توليد النصوص مع خسارة طفيفة في الجودة.

إليك بعض التفاصيل الإضافية المثيرة للاهتمام عن بنية نموذج Llama 3:

• معالجة المستندات الواعية بالحدود: يحافظ Llama 3 على الوضوح عند الانتقال بين حدود المستندات، وهو أمر أساسي لمهام مثل التلخيص.
• تحسين فهم الشيفرات: تتضمن بيانات تدريب Llama 3 عينات شيفرات تزيد أربعة أضعاف، ما يعزز قدراته البرمجية.
• مراقبة جودة صارمة: تضمن التدابير الدقيقة، بما فيها المرشحات الاستدلالية وإزالة المحتوى غير الملائم للعمل (NSFW)، سلامة البيانات والحد من التحيزات.

يعيد Llama 3 تشكيل نهجنا في تدريب النماذج#

لتدريب أكبر نماذج Llama 3، جرى الجمع بين ثلاثة أنواع من التوازي: توازي البيانات، وتوازي النموذج، وتوازي خط الأنابيب.

يقسم توازي البيانات بيانات التدريب على عدة وحدات GPU، بينما يقسم توازي النموذج بنية النموذج للاستفادة من القدرة الحاسوبية لكل وحدة GPU. أما توازي خط الأنابيب فيوزع عملية التدريب على مراحل متتابعة، ما يحسن الحوسبة والاتصال.

حقق التطبيق الأكثر كفاءة استخدامًا مرتفعًا للقدرات الحاسوبية، متجاوزًا 400 TFLOPS لكل GPU عند التدريب بالتزامن على 16,000 GPU. وأُجريت عمليات التدريب هذه على مجموعتين مخصصتين من وحدات GPU، تضم كل منهما 24,000 GPU. ووفرت هذه البنية التحتية الحاسوبية الضخمة القدرة اللازمة لتدريب نماذج Llama 3 واسعة النطاق بكفاءة.

لتحقيق أقصى وقت تشغيل لوحدات GPU، طُوّرت حزمة تدريب متقدمة وجديدة لأتمتة اكتشاف الأخطاء ومعالجتها والصيانة. كما حُسّنت موثوقية الأجهزة وآليات الاكتشاف بدرجة كبيرة للحد من مخاطر تلف البيانات الصامت. وطُوّرت أيضًا أنظمة تخزين جديدة قابلة للتوسع لتقليل النفقات المرتبطة بحفظ نقاط التحقق والتراجع عنها.

أفضت هذه التحسينات إلى وقت تدريب فعلي تجاوز 95%. وبالمجمل، رفعت كفاءة تدريب Llama 3 إلى نحو ثلاثة أضعاف كفاءة تدريب Llama 2. وتفتح هذه الكفاءة آفاقًا جديدة لأساليب تدريب الذكاء الاصطناعي.

فتح آفاق جديدة مع Llama 3#

بما أن Llama 3 مفتوح المصدر، يستطيع الباحثون والطلاب دراسة شفرته وإجراء التجارب ومناقشة المخاوف الأخلاقية والتحيزات. ومع ذلك، لا يقتصر استخدام Llama 3 على الأوساط الأكاديمية، بل يُستخدم أيضًا في تطبيقات عملية. وهو يتحول إلى الركيزة الأساسية لواجهة الدردشة Meta AI، المدمجة في منصات مثل Facebook وInstagram وWhatsApp وMessenger. وباستخدام Meta AI، يستطيع المستخدمون إجراء محادثات باللغة الطبيعية والحصول على توصيات مخصصة وتنفيذ المهام والتواصل مع الآخرين بسهولة.

الشكل 3. Meta AI: مدعوم بـLlama 3.

مقارنة Llama 3 بالنماذج اللغوية الكبيرة الأخرى#

يحقق Llama 3 أداءً جيدًا في عدد من المعايير المهمة التي تقيّم قدرات الفهم والاستدلال اللغوي المعقد. وفيما يلي بعض المعايير التي تختبر جوانب مختلفة من إمكانات Llama 3:

• الفهم اللغوي متعدد المهام واسع النطاق (MMLU) - يقيس معارف النموذج في مجالات متنوعة.
• الأسئلة والأجوبة على مستوى الدراسات العليا التي يصعب البحث عن إجاباتها عبر Google ( GPQA) - يقيّم قدرة النموذج على الإجابة عن أسئلة صعبة على مستوى الدراسات العليا في الأحياء والفيزياء والكيمياء.
• HumanEval - يركز على مهام البرمجة وحل المشكلات، ويختبر قدرة النموذج على إنشاء شيفرات برمجية عملية وحل التحديات الخوارزمية.

تميّز النتائج القوية التي حققها Llama 3 في هذه الاختبارات بوضوح عن منافسيه، مثل Gemma 7B من Google وMistral 7B من Mistral وClaude 3 Sonnet من Anthropic. ووفقًا للإحصاءات المنشورة، يتفوق Llama 3، ولا سيما نموذج 70B، على هذه النماذج في جميع المعايير المذكورة أعلاه.

الشكل 4. مقارنة Llama 3 بنماذج LLM أخرى.

إتاحة Llama 3 من Meta على نطاق واسع#

توسع Meta نطاق انتشار Llama 3 بإتاحته على مجموعة متنوعة من المنصات للمستخدمين عمومًا والمطورين. وبالنسبة إلى المستخدمين اليوميين، يندمج Llama 3 في منصات Meta الشائعة، مثل WhatsApp وInstagram وFacebook وMessenger. ويمكن للمستخدمين الوصول إلى ميزات متقدمة، مثل البحث في الوقت الفعلي وإنشاء محتوى إبداعي مباشرةً من هذه التطبيقات.

يجري أيضًا دمج Llama 3 في التقنيات القابلة للارتداء، مثل نظارات Ray-Ban Meta الذكية وسماعة Meta Quest للواقع الافتراضي، لتوفير تجارب تفاعلية.

يتوفر Llama 3 للمطورين على منصات متنوعة، منها AWS وDatabricks وGoogle Cloud وHugging Face وKaggle وIBM WatsonX وMicrosoft Azure وNVIDIA NIM وSnowflake. ويمكنك أيضًا الوصول إلى هذه النماذج مباشرةً من Meta. وتسهّل مجموعة الخيارات الواسعة على المطورين دمج إمكانات نماذج الذكاء الاصطناعي المتقدمة هذه في مشاريعهم، سواء فضلوا العمل مباشرةً مع Meta أو عبر منصات أخرى شائعة.

الخلاصة#

تواصل التطورات في التعلّم الآلي تغيير طريقة تفاعلنا مع التكنولوجيا يومياً. ويبرهن Llama 3 من Meta على أن النماذج اللغوية الكبيرة لم تعد تقتصر على إنشاء النصوص. فهي تعالج مشكلات معقدة وتتعامل مع لغات متعددة. وبوجه عام، يجعل Llama 3 الذكاء الاصطناعي أكثر قابلية للتكيف وإتاحةً من أي وقت مضى. وتَعِد الترقيات المخطط لها لـLlama 3 بقدرات أكبر، مثل تعدد الوسائط ونوافذ السياق الأطول.

اطّلع على مستودع GitHub وانضم إلى مجتمعنا لمعرفة المزيد عن الذكاء الاصطناعي. تفضل بزيارة صفحات حلولنا لمعرفة كيفية تطبيق الذكاء الاصطناعي في مجالات مثل التصنيع والزراعة.