بالنقر فوق “قبول جميع ملفات تعريف الارتباط”، فإنك توافق على تخزين ملفات تعريف الارتباط على جهازك لتحسين التنقل في الموقع وتحليل استخدام الموقع والمساعدة في جهودنا التسويقية. مزيد من المعلومات
إعدادات ملفات تعريف الارتباط
بالنقر فوق “قبول جميع ملفات تعريف الارتباط”، فإنك توافق على تخزين ملفات تعريف الارتباط على جهازك لتحسين التنقل في الموقع وتحليل استخدام الموقع والمساعدة في جهودنا التسويقية. مزيد من المعلومات
عندما جمعنا ابتكارات الذكاء الاصطناعي (AI) للربع الأول من عام 2024، رأينا أن LLMs، أو نماذج اللغة الكبيرة، كانت يتم إصدارها يمينًا ويسارًا من قبل منظمات مختلفة. واستمرارًا لهذا الاتجاه، في 18 أبريل 2024، أصدرت Meta Llama 3، وهو جيل جديد من أحدث نماذج LLM مفتوحة المصدر.
قد تفكر: إنه مجرد نموذج LLM آخر. لماذا مجتمع الذكاء الاصطناعي متحمس جدًا بشأنه؟
في حين أنه يمكنك ضبط النماذج مثل GPT-3 أو Gemini للحصول على استجابات مخصصة، إلا أنها لا توفر شفافية كاملة فيما يتعلق بأعمالها الداخلية، مثل بيانات التدريب أو معلمات النموذج أو الخوارزميات. في المقابل، فإن Llama 3 من Meta أكثر شفافية، حيث تتوفر بنيته وأوزانه للتنزيل. بالنسبة لمجتمع الذكاء الاصطناعي، هذا يعني حرية أكبر في التجربة.
في هذه المقالة، سنتعلم ما يمكن أن يفعله Llama 3، وكيف نشأ، وتأثيره على مجال الذكاء الاصطناعي. هيا بنا نبدأ!
تطور نماذج Llama من Meta
قبل أن نتعمق في Llama 3، دعنا نلقي نظرة على الإصدارات السابقة.
أطلقت Meta Llama 1 في فبراير 2023، والتي جاءت في أربعة متغيرات بمعلمات تتراوح من 7 مليارات إلى 64 مليار. في التعلم الآلي، تشير "المعلمات" إلى عناصر النموذج التي يتم تعلمها من بيانات التدريب. نظرًا لعدد المعلمات الأصغر، واجه Llama 1 أحيانًا صعوبة في الفهم الدقيق وقدم استجابات غير متسقة.
بعد فترة وجيزة من Llama 1، أطلقت Meta Llama 2 في يوليو 2023. تم تدريبه على 2 تريليون رمز. يمثل الرمز جزءًا من النص، مثل كلمة أو جزء من كلمة، يستخدم كوحدة بيانات أساسية للمعالجة في النموذج. كما تضمن النموذج تحسينات مثل مضاعفة نافذة السياق لتصل إلى 4096 رمزًا لفهم المقاطع الأطول وأكثر من مليون تعليق توضيحي بشري لتقليل الأخطاء. على الرغم من هذه التحسينات، كان Llama 2 لا يزال بحاجة إلى الكثير من قوة الحوسبة، وهو ما هدفت Meta إلى إصلاحه باستخدام Llama 3.
تقديم Llama 3 من Meta
يأتي Llama 3 بأربعة متغيرات تم تدريبها على 15 تريليون رمز مذهل. أكثر من 5٪ من بيانات التدريب هذه (حوالي 800 مليون رمز) تمثل بيانات بـ 30 لغة مختلفة. يمكن تشغيل جميع متغيرات Llama 3 على أنواع مختلفة من أجهزة المستهلكين ولها طول سياق يبلغ 8 آلاف رمز.
تأتي متغيرات النموذج بحجمين: 8B و 70B، مما يشير إلى 8 مليارات و 70 مليار معلمة، على التوالي. هناك أيضًا إصداران، أساسي وتعليمي. تشير كلمة "أساسي" إلى الإصدار القياسي المدرب مسبقًا. "تعليمي" هو إصدار مضبوط بدقة ومُحسَّن لتطبيقات أو مجالات معينة من خلال تدريب إضافي على البيانات ذات الصلة.
هذه هي متغيرات نموذج Llama 3:
Meta-Llama-3-8b: يوفر نموذج 8B الأساسي إمكانات الذكاء الاصطناعي الأساسية، وهو مثالي للمهام العامة مثل تطوير روبوتات خدمة العملاء.
Meta-Llama-3-8b-instruct: نسخة تعليمية مضبوطة بدقة من نموذج 8B مُحسَّنة لمهام محددة. على سبيل المثال، يمكن استخدامه لإنشاء أدوات تعليمية تشرح الموضوعات المعقدة.
Meta-Llama-3-70b: تم تصميم نموذج 70B الأساسي لتطبيقات الذكاء الاصطناعي عالية الأداء. سيعمل هذا النموذج بشكل جيد لتطبيقات مثل معالجة الأدبيات الطبية الحيوية الشاملة من أجل اكتشاف الأدوية.
Meta-Llama-3-70b-instruct: هذا الإصدار مضبوط بدقة من نموذج 70B للتطبيقات عالية الدقة، مثل تحليل المستندات القانونية أو الطبية، حيث الدقة أمر بالغ الأهمية.
بنية نموذج Llama 3 من Meta
كما هو الحال مع أي تطورات أخرى في Meta AI، تم وضع تدابير صارمة لمراقبة الجودة للحفاظ على سلامة البيانات وتقليل التحيزات أثناء تطوير Llama 3. لذلك، المنتج النهائي هو نموذج قوي تم إنشاؤه بمسؤولية.
تتميز بنية نموذج Llama 3 بتركيزها على الكفاءة والأداء في مهام معالجة اللغة الطبيعية. استنادًا إلى إطار عمل قائم على المحولات، فإنه يؤكد على الكفاءة الحسابية، خاصة أثناء إنشاء النصوص، باستخدام بنية فك التشفير فقط.
ينتج النموذج مخرجات بناءً على السياق السابق فقط دون وجود أداة ترميز لترميز المدخلات مما يجعله أسرع بكثير.
تتميز نماذج Llama 3 بأداة ترميز ذات مفردات مكونة من 128 ألف رمز. تعني المفردات الأكبر أن النماذج يمكنها فهم النصوص ومعالجتها بشكل أفضل. أيضًا، تستخدم النماذج الآن الانتباه إلى الاستعلام المجمع (GQA) لتحسين كفاءة الاستدلال. GQA هي تقنية يمكنك اعتبارها بمثابة بقعة ضوء تساعد النماذج على التركيز على الأجزاء ذات الصلة من بيانات الإدخال لإنشاء استجابات أسرع وأكثر دقة.
فيما يلي بعض التفاصيل الأخرى المثيرة للاهتمام حول بنية نموذج Llama 3:
معالجة المستندات المدركة للحدود: يحافظ Llama 3 على الوضوح عبر حدود المستندات، وهو أمر أساسي لمهام مثل التلخيص.
فهم أفضل للتعليمات البرمجية: تتضمن بيانات تدريب Llama 3 أربعة أضعاف عدد عينات التعليمات البرمجية، مما يعزز قدراته في البرمجة.
مراقبة الجودة القوية: تضمن التدابير الصارمة، بما في ذلك المرشحات التجريبية وإزالة المواد الإباحية، سلامة البيانات وتقليل التحيزات.
يعمل Llama 3 على تغيير الطريقة التي نتعامل بها مع تدريب النماذج
لتدريب أكبر نماذج Llama 3، تم دمج ثلاثة أنواع من الموازاة: موازاة البيانات، وموازاة النماذج، وموازاة خطوط المعالجة.
تقوم موازاة البيانات بتقسيم بيانات التدريب عبر وحدات معالجة الرسوميات المتعددة (GPUs)، بينما تقوم موازاة النماذج بتقسيم بنية النموذج للاستفادة من القدرة الحسابية لكل وحدة معالجة رسوميات. أما موازاة خطوط المعالجة فتقسم عملية التدريب إلى مراحل متسلسلة، مما يحسن الحساب والتواصل.
حقق التنفيذ الأكثر كفاءة استخدامًا ملحوظًا للحوسبة، متجاوزًا 400 TFLOPS لكل وحدة معالجة رسوميات عند التدريب على 16000 وحدة معالجة رسوميات في وقت واحد. أُجريت عمليات التدريب هذه على مجموعتين مخصصتين من وحدات معالجة الرسوميات، تتألف كل منهما من 24000 وحدة معالجة رسوميات. ووفرت هذه البنية التحتية الحسابية الكبيرة الطاقة اللازمة لتدريب نماذج Llama 3 واسعة النطاق بكفاءة.
لتحقيق أقصى قدر من وقت تشغيل وحدات معالجة الرسوميات، تم تطوير حزمة تدريب جديدة متطورة، تعمل على أتمتة اكتشاف الأخطاء ومعالجتها وصيانتها. تم تحسين موثوقية الأجهزة وآليات الكشف بشكل كبير للتخفيف من مخاطر تلف البيانات الصامت. أيضًا، تم تطوير أنظمة تخزين جديدة قابلة للتطوير لتقليل النفقات العامة لعمليات التحقق والاسترجاع.
أدت هذه التحسينات إلى وقت تدريب فعال بشكل عام يزيد عن 95%. مجتمعة، زادت كفاءة تدريب Llama 3 بمقدار ثلاثة أضعاف تقريبًا مقارنة بـ Llama 2. هذه الكفاءة ليست مجرد مثيرة للإعجاب؛ إنها تفتح إمكانيات جديدة لطرق تدريب الذكاء الاصطناعي.
فتح الأبواب مع Llama 3
نظرًا لأن Llama 3 مفتوح المصدر، يمكن للباحثين والطلاب دراسة رموزه وإجراء التجارب والمشاركة في مناقشات حول المخاوف والتحيزات الأخلاقية. ومع ذلك، فإن Llama 3 ليس مخصصًا للجمهور الأكاديمي فقط. إنه يحدث طفرة في التطبيقات العملية أيضًا. إنه يصبح العمود الفقري لواجهة Meta AI Chat، حيث يتكامل بسلاسة في منصات مثل Facebook و Instagram و WhatsApp و Messenger. باستخدام Meta AI، يمكن للمستخدمين المشاركة في محادثات باللغة الطبيعية، والوصول إلى توصيات مخصصة، وتنفيذ المهام، والتواصل مع الآخرين بسهولة.
يقدم Llama 3 أداءً جيدًا بشكل استثنائي في العديد من المعايير الرئيسية التي تقيّم فهم اللغة المعقدة وقدرات الاستدلال. فيما يلي بعض المعايير التي تختبر جوانب مختلفة من قدرات Llama 3:
فهم اللغة متعدد المهام الضخم (MMLU) - يقيس معرفته عبر مجالات مختلفة.
الإجابة على الأسئلة ذات الأغراض العامة (GPQA) - يقيّم قدرة النموذج على إنشاء إجابات متماسكة وصحيحة لمجموعة واسعة من أسئلة المعرفة العامة.
HumanEval - يركز على مهام البرمجة وحل المشكلات، ويختبر قدرة النموذج على إنشاء تعليمات برمجية وظيفية وحل التحديات الخوارزمية.
تميز نتائج Llama 3 المتميزة في هذه الاختبارات بوضوح عن المنافسين مثل Gemma 7B من Google و Mistral 7B من Mistral و Claude 3 Sonnet من Anthropic. وفقًا للإحصائيات المنشورة، وخاصة نموذج 70B، يتفوق Llama 3 على هذه النماذج في جميع المعايير المذكورة أعلاه.
الشكل 4. مقارنة Llama 3 بنماذج LLMs الأخرى.
Meta Llama 3 يتم إتاحته على نطاق واسع
تقوم Meta بتوسيع نطاق وصول Llama 3 من خلال إتاحته عبر مجموعة متنوعة من المنصات لكل من المستخدمين العامين والمطورين. بالنسبة للمستخدمين اليوميين، يتم دمج Llama 3 في منصات Meta الشائعة مثل WhatsApp و Instagram و Facebook و Messenger. يمكن للمستخدمين الوصول إلى ميزات متقدمة مثل البحث في الوقت الفعلي والقدرة على إنشاء محتوى إبداعي مباشرة داخل هذه التطبيقات.
يتم دمج Llama 3 أيضًا في التقنيات القابلة للارتداء مثل النظارات الذكية Ray-Ban Meta وسماعة الرأس Meta Quest VR لتجارب تفاعلية.
يتوفر Llama 3 على مجموعة متنوعة من المنصات للمطورين، بما في ذلك AWS و Databricks و Google Cloud و Hugging Face و Kaggle و IBM WatsonX و Microsoft Azure و NVIDIA NIM و Snowflake. يمكنك أيضًا الوصول إلى هذه النماذج مباشرة من Meta. تسهل المجموعة الواسعة من الخيارات على المطورين دمج إمكانات نموذج الذكاء الاصطناعي المتقدمة هذه في مشاريعهم، سواء كانوا يفضلون العمل مباشرة مع Meta أو من خلال منصات شائعة أخرى.
الخلاصة
تستمر التطورات في تعلم الآلة في تغيير الطريقة التي نتفاعل بها مع التكنولوجيا كل يوم. يوضح Llama 3 من Meta أن LLMs لم تعد مجرد إنشاء نصوص بعد الآن. تعالج LLMs مشكلات معقدة وتتعامل مع لغات متعددة. بشكل عام، يجعل Llama 3 الذكاء الاصطناعي أكثر قابلية للتكيف وسهولة الوصول إليه من أي وقت مضى. بالنظر إلى المستقبل، تعد التحديثات المخطط لها لـ Llama 3 بمزيد من الإمكانات، مثل التعامل مع نماذج متعددة وفهم سياقات أكبر.
تحقق من مستودع GitHub الخاص بنا وانضم إلى مجتمعنا لمعرفة المزيد حول الذكاء الاصطناعي. قم بزيارة صفحات الحلول الخاصة بنا لمعرفة كيف يتم تطبيق الذكاء الاصطناعي في مجالات مثل التصنيع و الزراعة.
