التعرّف إلى Llama 3 من Meta

عندما استعرضنا ابتكارات الذكاء الاصطناعي (AI) في الربع الأول من عام 2024، لاحظنا أن نماذج اللغة الكبيرة (LLMs)، أو نماذج اللغة الكبيرة، كانت تُطلَق تباعًا من مؤسسات مختلفة. واستمرارًا لهذا الاتجاه، أطلقت Meta في 18 أبريل 2024 Llama 3، وهو نموذج LLM مفتوح المصدر من الجيل التالي ومتطور للغاية.

قد تفكر قائلًا: إنه مجرد نموذج LLM آخر. فلماذا يشعر مجتمع الذكاء الاصطناعي بكل هذا الحماس تجاهه؟

على الرغم من إمكانية ضبط نماذج مثل GPT-3 أو Gemini لتقديم استجابات مخصصة، فإنها لا توفر شفافية كاملة بشأن آليات عملها الداخلية، مثل بيانات التدريب أو معلمات النموذج أو الخوارزميات المستخدمة. في المقابل، يتميز Llama 3 من Meta بقدر أكبر من الشفافية، إذ تتوفر بنيته وأوزانه للتنزيل. وبالنسبة إلى مجتمع الذكاء الاصطناعي، يعني ذلك حرية أكبر لإجراء التجارب.

في هذه المقالة، سنتعرف إلى ما يستطيع Llama 3 فعله، وكيف ظهر، وتأثيره في مجال الذكاء الاصطناعي. فلنبدأ مباشرة!

تطور نماذج Llama من Meta#

قبل أن نتعمق في Llama 3، لنلقِ نظرة على إصداراته السابقة.

أطلقت Meta نموذج Llama 1 في فبراير 2023، وقد جاء في أربعة أشكال تراوحت معلماتها بين 7 مليارات و65 مليارًا. في تعلّم الآلة، تشير «المعلمات» إلى عناصر النموذج التي يتعلمها من بيانات التدريب. وبسبب قلة عدد معلماته، واجه Llama 1 أحيانًا صعوبة في الفهم الدقيق، وكان يقدم استجابات غير متسقة.

بعد فترة وجيزة من Llama 1، أطلقت Meta نموذج Llama 2 في يوليو 2023. ودُرّب النموذج على تريليوني وحدة رمزية. وتمثل الوحدة الرمزية جزءًا من النص، مثل كلمة أو جزءًا من كلمة، وتُستخدم كوحدة البيانات الأساسية للمعالجة في النموذج. كما تضمن النموذج تحسينات مثل مضاعفة نافذة السياق إلى 4096 وحدة رمزية لفهم المقاطع الأطول، وأكثر من مليون تعليق توضيحي بشري لتقليل الأخطاء. وعلى الرغم من هذه التحسينات، ظل Llama 2 بحاجة إلى قدر كبير من القدرة الحاسوبية، وهو أمر سعت Meta إلى معالجته في Llama 3.

تقديم Llama 3 من Meta#

يأتي Llama 3 في أربعة أشكال دُرّبت على 15 تريليون وحدة رمزية هائلة العدد. وكانت أكثر من 5% من بيانات التدريب هذه، أي نحو 800 مليون وحدة رمزية، تمثل بيانات بـ30 لغة مختلفة. ويمكن تشغيل جميع أشكال Llama 3 على أنواع متعددة من أجهزة المستخدمين، كما تتمتع بطول سياق يبلغ 8 آلاف وحدة رمزية.

الشكل 1. Llama 3 مقارنةً بـLlama 2.

تأتي أشكال النموذج بحجمين: 8B و70B، بما يشير إلى 8 مليارات و70 مليار معلمة على التوالي. كما توجد نسختان: أساسية وتعليماتية. تشير «الأساسية» إلى النسخة القياسية المُدرّبة مسبقًا. أما «التعليماتية» فهي نسخة مضبوطة ضبطًا دقيقًا ومُحسّنة لتطبيقات أو مجالات محددة من خلال تدريب إضافي على بيانات ذات صلة.

فيما يلي أشكال نموذج Llama 3:

• Meta-Llama-3-8b: يوفر النموذج الأساسي 8B قدرات أساسية في الذكاء الاصطناعي، وهو مثالي للمهام العامة مثل تطوير روبوتات محادثة لخدمة العملاء.
• Meta-Llama-3-8b-instruct: نسخة مضبوطة ضبطًا دقيقًا بالتعليمات من النموذج 8B، ومُحسّنة لمهام محددة. فعلى سبيل المثال، يمكن استخدامها لإنشاء أدوات تعليمية تشرح الموضوعات المعقدة.
• Meta-Llama-3-70b: صُمّم النموذج الأساسي 70B لتطبيقات الذكاء الاصطناعي عالية الأداء. وسيكون هذا النموذج مناسبًا لتطبيقات مثل معالجة الأدبيات الطبية الحيوية الواسعة من أجل اكتشاف الأدوية.
• Meta-Llama-3-70b-instruct: هذه النسخة مضبوطة ضبطًا دقيقًا انطلاقًا من النموذج 70B لتطبيقات تتطلب دقة عالية، مثل تحليل المستندات القانونية أو الطبية، حيث تكون الدقة أمرًا بالغ الأهمية.

بنية نموذج Llama 3 من Meta#

وكما هو الحال مع أي تطورات أخرى في مجال الذكاء الاصطناعي لدى Meta، فُرضت تدابير صارمة لمراقبة الجودة للحفاظ على سلامة البيانات وتقليل التحيزات أثناء تطوير Llama 3. ولذلك، فإن المنتج النهائي هو نموذج قوي أُنشئ بطريقة مسؤولة.

تتميز بنية نموذج Llama 3 بتركيزها على الكفاءة والأداء في مهام معالجة اللغة الطبيعية. وقد بُنيت على إطار عمل قائم على Transformer، مع التركيز على الكفاءة الحاسوبية، ولا سيما أثناء توليد النصوص، باستخدام بنية مقتصرة على وحدة فك الترميز.

يولّد النموذج المخرجات استنادًا فقط إلى السياق السابق، من دون مُرمّز لترميز المدخلات، مما يجعله أسرع بكثير.

الشكل 2. بنية نموذج Llama 3 المسؤولة.

تتميز نماذج Llama 3 بمقسّم رموز ذي مفردات تتكون من 128 ألف وحدة رمزية. وتتيح المفردات الأكبر للنماذج فهم النص ومعالجته بصورة أفضل. كما تستخدم النماذج الآن الانتباه إلى الاستعلامات المجمّعة (GQA) لتحسين كفاءة الاستدلال. ويمكن تصور GQA على أنه كشاف ضوئي يساعد النماذج على التركيز في الأجزاء ذات الصلة من بيانات الإدخال لتوليد استجابات أسرع وأكثر دقة.

فيما يلي بعض التفاصيل الإضافية المثيرة للاهتمام حول بنية نموذج Llama 3:

• معالجة المستندات الواعية بالحدود: يحافظ Llama 3 على الوضوح عبر حدود المستندات، وهو أمر أساسي لمهام مثل التلخيص.
• فهم أفضل للبرمجيات: تتضمن بيانات تدريب Llama 3 عينات برمجية أكثر بأربع مرات، مما يعزز قدراته البرمجية.
• مراقبة جودة قوية: تضمن التدابير الصارمة، بما في ذلك المرشحات الاستدلالية وإزالة المحتوى غير الآمن للعمل أو المشاهدة (NSFW)، سلامة البيانات وتقليل التحيزات.

يُحدث Llama 3 تحولًا في أسلوبنا في تدريب النماذج#

لتدريب نماذج Llama 3 الأكبر، جُمعت ثلاثة أنواع من التوازي: توازي البيانات، وتوازي النموذج، وتوازي خط الأنابيب.

يقسم توازي البيانات بيانات التدريب عبر وحدات GPU متعددة، بينما يجزّئ توازي النموذج بنية النموذج للاستفادة من القدرة الحاسوبية لكل وحدة GPU. أما توازي خط الأنابيب فيقسم عملية التدريب إلى مراحل متتابعة، مما يحسّن الحساب والاتصال.

حقق التنفيذ الأكثر كفاءة استخدامًا حاسوبيًا لافتًا، متجاوزًا 400 TFLOPS لكل وحدة GPU عند التدريب على 16,000 وحدة GPU في الوقت نفسه. وأُجريت عمليات التدريب هذه على عنقودين من وحدات GPU بُنيا خصيصًا، يضم كل منهما 24,000 وحدة GPU. وقد وفرت هذه البنية التحتية الحاسوبية الكبيرة القدرة اللازمة لتدريب نماذج Llama 3 واسعة النطاق بكفاءة.

ولزيادة مدة تشغيل وحدات GPU إلى أقصى حد، طُوّرت حزمة تدريب جديدة ومتقدمة لأتمتة اكتشاف الأخطاء ومعالجتها وصيانة النظام. كما حُسّنت موثوقية العتاد وآليات الاكتشاف بدرجة كبيرة للحد من مخاطر تلف البيانات الصامت. وطُوّرت أيضًا أنظمة تخزين جديدة قابلة للتوسع لتقليل النفقات العامة لحفظ نقاط التحقق والتراجع.

أدت هذه التحسينات إلى تحقيق فعالية إجمالية في وقت التدريب تجاوزت 95%. وبمجملها، زادت كفاءة تدريب Llama 3 بنحو ثلاثة أضعاف مقارنةً بـLlama 2. ولا تقتصر أهمية هذه الكفاءة على كونها مثيرة للإعجاب؛ فهي تفتح إمكانات جديدة لأساليب تدريب الذكاء الاصطناعي.

فتح آفاق جديدة مع Llama 3#

نظرًا إلى أن Llama 3 مفتوح المصدر، يستطيع الباحثون والطلاب دراسة شفرته وإجراء التجارب والمشاركة في مناقشات حول المخاوف الأخلاقية والتحيزات. ومع ذلك، لا يقتصر Llama 3 على الأوساط الأكاديمية. فهو يُحدث تأثيرًا كبيرًا في التطبيقات العملية أيضًا. وأصبح يمثل العمود الفقري لواجهة محادثة Meta AI، إذ يتكامل بسلاسة مع منصات مثل Facebook وInstagram وWhatsApp وMessenger. ومع Meta AI، يمكن للمستخدمين إجراء محادثات باللغة الطبيعية، والوصول إلى توصيات مخصصة، وتنفيذ المهام، والتواصل مع الآخرين بسهولة.

الشكل 3. Meta AI: مدعوم بواسطة Llama 3.

مقارنة Llama 3 بنماذج LLM أخرى#

يحقق Llama 3 أداءً استثنائيًا في عدة معايير رئيسية تقيّم قدرات الفهم والاستدلال اللغويين المعقدين. وفيما يلي بعض المعايير التي تختبر جوانب مختلفة من قدرات Llama 3:

• الفهم واسع النطاق للغة والمهام المتعددة (MMLU) - يقيس معارفه عبر مجالات متنوعة.
• الإجابة عن الأسئلة للأغراض العامة (GPQA) - تقيّم قدرة النموذج على توليد إجابات متماسكة وصحيحة عن مجموعة واسعة من أسئلة المعرفة العامة.
• HumanEval - يركز على مهام البرمجة وحل المشكلات، ويختبر قدرة النموذج على توليد شيفرة برمجية عملية وحل التحديات الخوارزمية.

تميزت نتائج Llama 3 المذهلة في هذه الاختبارات بوضوح عن منافسيه، مثل Gemma 7B من Google وMistral 7B من Mistral وClaude 3 Sonnet من Anthropic. ووفقًا للإحصاءات المنشورة، يتفوق Llama 3، ولا سيما نموذج 70B، على هذه النماذج في جميع المعايير المذكورة أعلاه.

الشكل 4. مقارنة Llama 3 بنماذج LLM أخرى.

إتاحة Meta Llama 3 على نطاق واسع#

توسّع Meta نطاق انتشار Llama 3 من خلال إتاحته عبر مجموعة متنوعة من المنصات للمستخدمين العامين والمطورين على حد سواء. وبالنسبة إلى المستخدمين اليوميين، يتكامل Llama 3 مع منصات Meta الشائعة مثل WhatsApp وInstagram وFacebook وMessenger. ويمكن للمستخدمين الوصول إلى ميزات متقدمة مثل البحث في الوقت الفعلي والقدرة على توليد محتوى إبداعي مباشرةً داخل هذه التطبيقات.

كما يجري دمج Llama 3 في تقنيات قابلة للارتداء، مثل نظارات Ray-Ban Meta الذكية وسماعة الواقع الافتراضي Meta Quest، لتوفير تجارب تفاعلية.

يتوفر Llama 3 للمطورين على مجموعة متنوعة من المنصات، بما في ذلك AWS وDatabricks وGoogle Cloud وHugging Face وKaggle وIBM WatsonX وMicrosoft Azure وNVIDIA NIM وSnowflake. ويمكنك أيضًا الوصول إلى هذه النماذج مباشرةً من Meta. وتسهّل هذه المجموعة الواسعة من الخيارات على المطورين دمج قدرات نماذج الذكاء الاصطناعي المتقدمة هذه في مشاريعهم، سواء فضّلوا العمل مباشرةً مع Meta أو عبر منصات أخرى شائعة.

الخلاصة#

تواصل تطورات تعلّم الآلة تحويل الطريقة التي نتفاعل بها مع التكنولوجيا يوميًا. ويوضح Llama 3 من Meta أن نماذج LLM لم تعد تقتصر على توليد النصوص. إذ تتعامل نماذج LLM مع مشكلات معقدة وتدعم لغات متعددة. وبوجه عام، يجعل Llama 3 الذكاء الاصطناعي أكثر قابلية للتكيف وإتاحة من أي وقت مضى. واستشرافًا للمستقبل، تعد الترقيات المخطط لها لـLlama 3 بقدرات أكبر، مثل التعامل مع نماذج متعددة وفهم سياقات أوسع.

اطّلع على مستودع GitHub وانضم إلى مجتمعنا لمعرفة المزيد عن الذكاء الاصطناعي. وزُر صفحات حلولنا للاطلاع على كيفية تطبيق الذكاء الاصطناعي في مجالات مثل التصنيع والزراعة.