تم إصدار Llama 3 من Meta مؤخرًا وقوبل بحماس كبير من مجتمع الذكاء الاصطناعي. دعونا نتعرف على المزيد حول Llama 3 - أحدث تطورات الذكاء الاصطناعي من Meta.
عندما قمنا بجمع ابتكارات الذكاء الاصطناعي (AI) في الربع الأول من عام 2024، رأينا أن نماذج LLM، أو النماذج اللغوية الكبيرة، يتم إصدارها يمينًا ويسارًا من قبل مؤسسات مختلفة. استمرارًا لهذا الاتجاه، في 18 أبريل 2024، أصدرت Meta في 18 أبريل 2024، Llama 3، وهو الجيل التالي من أحدث نماذج LLM مفتوحة المصدر.
ربما تفكر: إنه مجرد ماجستير آخر في القانون. لماذا يتحمس مجتمع الذكاء الاصطناعي لهذه الدرجة؟
في حين أنه يمكنك ضبط نماذج مثل GPT-3 أو Gemini للحصول على استجابات مخصصة، إلا أنها لا توفر شفافية كاملة فيما يتعلق بأعمالها الداخلية، مثل بيانات التدريب أو معلمات النموذج أو الخوارزميات. على النقيض من ذلك، فإن نموذج Llama 3 من Meta أكثر شفافية، حيث تتوفر بنيته وأوزانه للتنزيل. بالنسبة لمجتمع الذكاء الاصطناعي، هذا يعني حرية أكبر في التجربة.
في هذه المقالة، سنتعرف في هذه المقالة على ما يمكن أن يفعله Llama 3، وكيف ظهر إلى حيز الوجود، وتأثيره على مجال الذكاء الاصطناعي. لندخل في صلب الموضوع!
قبل أن نتعمق في Llama 3، دعونا نلقي نظرة على إصداراته السابقة.
أطلقت ميتا Meta برنامج Llama 1 في فبراير 2023، والذي جاء في أربعة متغيرات بمعلمات تتراوح بين 7 مليارات و64 مليار. في التعلم الآلي، تشير "المعلمات" إلى عناصر النموذج التي يتم تعلمها من بيانات التدريب. ونظرًا لقلة عدد معلماته، فقد عانى Llama 1 في بعض الأحيان من صعوبة في الفهم الدقيق وأعطى استجابات غير متسقة.
بعد فترة وجيزة من إطلاق Llama 1، أطلقت Meta Llama 2 في يوليو 2023. تم تدريبه على 2 تريليون رمز. يُمثّل الرمز الرمزي جزءًا من النص، مثل كلمة أو جزء من كلمة، يُستخدم كوحدة أساسية للبيانات للمعالجة في النموذج. تميّز النموذج أيضًا بتحسينات مثل نافذة سياق مضاعفة من 4096 رمزًا لفهم المقاطع الأطول وأكثر من مليون تعليق توضيحي بشري لتقليل الأخطاء. على الرغم من هذه التحسينات، لا يزال Llama 2 بحاجة إلى الكثير من القوة الحاسوبية، وهو أمر تهدف Meta إلى إصلاحه مع Lama 3.
يأتي برنامج Llama 3 بأربعة متغيرات تم تدريبها على 15 تريليون رمز رمزي مذهل. أكثر من 5% من بيانات التدريب هذه (حوالي 800 مليون رمز) تمثل بيانات ب 30 لغة مختلفة. يمكن تشغيل جميع متغيرات Llama 3 على أنواع مختلفة من الأجهزة الاستهلاكية ويبلغ طول سياقها 8 آلاف رمز.
تأتي متغيرات النموذج في حجمين: 8B و70B، مما يشير إلى 8 مليار و70 مليار معلمة على التوالي. هناك أيضًا نسختان، نسخة أساسية ونسخة إرشادية. تشير كلمة "أساسي" إلى الإصدار القياسي المُعد مسبقًا. أما "إرشادات" فهي نسخة مُعدّلة ومُحسّنة لتطبيقات أو مجالات محددة من خلال تدريب إضافي على البيانات ذات الصلة.
هذه هي متغيرات طرازات لاما 3:
كما هو الحال مع أي تطورات أخرى في مجال الذكاء الاصطناعي الفائق، تم وضع تدابير صارمة لمراقبة الجودة للحفاظ على سلامة البيانات وتقليل التحيزات أثناء تطوير Llama 3. لذا، فإن المنتج النهائي هو نموذج قوي تم إنشاؤه بمسؤولية.
تتميز بنية نموذج Llama 3 بتركيزها على الكفاءة والأداء في مهام معالجة اللغة الطبيعية. وهو مبني على إطار عمل قائم على المحولات، ويركز على الكفاءة الحسابية، خاصةً أثناء توليد النصوص، باستخدام بنية تعتمد على وحدة فك الترميز فقط.
يُنشئ النموذج مخرجات بناءً على السياق السابق فقط دون الحاجة إلى مشفر لتشفير المدخلات مما يجعله أسرع بكثير.
تحتوي نماذج Llama 3 على أداة ترميز مع مفردات مكونة من 128 ألف رمز. تعني المفردات الأكبر أن النماذج يمكنها فهم النص ومعالجته بشكل أفضل. أيضًا، تستخدم النماذج الآن الانتباه إلى الاستعلام المجمّع (GQA) لتحسين كفاءة الاستدلال. GQA هي تقنية يمكنك اعتبارها بمثابة ضوء كشاف يساعد النماذج على التركيز على الأجزاء ذات الصلة من البيانات المدخلة لتوليد استجابات أسرع وأكثر دقة.
إليك بعض التفاصيل الأكثر إثارة للاهتمام حول بنية نموذج Llama 3:
لتدريب أكبر نماذج Llama 3، تم الجمع بين ثلاثة أنواع من التوازي: توازي البيانات، وتوازي النماذج، وتوازي خط الأنابيب.
يقسم توازي البيانات بيانات التدريب عبر وحدات معالجة رسومات متعددة، بينما يقسم توازي النماذج بنية النموذج لاستخدام القوة الحسابية لكل GPU. تقسم موازاة خط الأنابيب عملية التدريب إلى مراحل متسلسلة، مما يؤدي إلى تحسين الحوسبة والاتصالات.
وقد حقق التطبيق الأكثر كفاءة استخدامًا ملحوظًا للحوسبة حيث تجاوز 400 وحدة معالجة رسومات في الثانية لكل GPU عند التدريب على 16,000 وحدة معالجة رسومات في وقت واحد. أُجريت عمليات التدريب هذه على مجموعتين مخصصتين GPU ، تضم كل منهما 24,000 وحدة معالجة رسومات. وقد وفرت هذه البنية التحتية الحاسوبية الكبيرة القوة اللازمة لتدريب نماذج Llama 3 واسعة النطاق بكفاءة.
ولزيادة وقت تشغيل GPU إلى أقصى حد، تم تطوير حزمة تدريب جديدة متقدمة، مما أدى إلى أتمتة اكتشاف الأخطاء ومعالجتها وصيانتها. تم تحسين موثوقية الأجهزة وآليات الكشف بشكل كبير للتخفيف من مخاطر تلف البيانات الصامتة. أيضًا، تم تطوير أنظمة تخزين جديدة قابلة للتطوير لتقليل نفقات التحقق والتراجع.
وقد أدت هذه التحسينات إلى زيادة فعالية التدريب بنسبة تزيد عن 95%. وقد زادت هذه التحسينات مجتمعةً من كفاءة تدريب Llama 3 بمقدار ثلاثة أضعاف تقريباً مقارنةً بـ Llama 2. هذه الكفاءة ليست مثيرة للإعجاب فحسب، بل إنها تفتح إمكانيات جديدة لأساليب تدريب الذكاء الاصطناعي.
نظرًا لأن Llama 3 مفتوح المصدر، يمكن للباحثين والطلاب دراسة شيفرته البرمجية وإجراء التجارب والمشاركة في المناقشات حول المخاوف والتحيزات الأخلاقية. ومع ذلك، فإن Llama 3 ليس فقط للأكاديميين. فهو يحقق نجاحًا في التطبيقات العملية أيضًا. فقد أصبح العمود الفقري لواجهة دردشة Meta AI، حيث يندمج بسلاسة في منصات مثل فيسبوك وإنستغرام وواتساب وماسنجر. باستخدام Meta AI، يمكن للمستخدمين الانخراط في محادثات باللغة الطبيعية، والوصول إلى توصيات مخصصة، وأداء المهام، والتواصل مع الآخرين بسهولة.
يحقق Llama 3 أداءً جيدًا بشكل استثنائي في العديد من المعايير الرئيسية التي تقيّم قدرات الفهم اللغوي المعقد والاستدلال. فيما يلي بعض المعايير التي تختبر جوانب مختلفة من قدرات Llama 3:
إن نتائج Llama 3 المتميزة في هذه الاختبارات تميزه بوضوح عن منافسيه مثل Google'Gemma 7B' Gemma 7B، وMistral's Mistral's 7B، و Anthropic'Claude 3 Sonnet'. وفقًا للإحصائيات المنشورة، وخاصةً طراز 70B، يتفوق Llama 3 على هذه النماذج في جميع المعايير المذكورة أعلاه.
تعمل Meta على توسيع نطاق وصول Llama 3 من خلال إتاحته عبر مجموعة متنوعة من المنصات لكل من المستخدمين العاديين والمطورين. بالنسبة للمستخدمين العاديين، تم دمج Llama 3 في منصات Meta الشهيرة مثل WhatsApp وInstagram وFacebook وMessenger. يمكن للمستخدمين الوصول إلى ميزات متقدمة مثل البحث في الوقت الفعلي والقدرة على إنشاء محتوى إبداعي مباشرةً داخل هذه التطبيقات.
كما يتم دمج Llama 3 في التقنيات القابلة للارتداء مثل نظارات Ray-Ban Meta الذكية وسماعة Meta Quest VR للتجارب التفاعلية.
يتوفر Llama 3 على مجموعة متنوعة من المنصات للمطورين، بما في ذلك AWS وDatabricks و Google Cloud و Cloud و Hugging Face وKaggle وIBM WatsonX و Microsoft Azure و NVIDIA NIM وSnowflake. يمكنك أيضًا الوصول إلى هذه النماذج مباشرةً من Meta. تسهّل المجموعة الواسعة من الخيارات على المطورين دمج قدرات نماذج الذكاء الاصطناعي المتقدمة هذه في مشاريعهم، سواء كانوا يفضلون العمل مباشرةً مع Meta أو من خلال منصات أخرى شائعة.
تستمر تطورات التعلم الآلي في تغيير طريقة تفاعلنا مع التكنولوجيا كل يوم. يُظهر L llama 3 من Meta أن الآلات ذات التعلم الآلي لم تعد تقتصر على توليد النصوص فقط. فآلات LLM تعالج المشاكل المعقدة وتتعامل مع لغات متعددة. وبشكل عام، يجعل Llama 3 من الذكاء الاصطناعي أكثر قابلية للتكيف وسهولة الوصول إليه أكثر من أي وقت مضى. وبالنظر إلى المستقبل، تعد الترقيات المخطط لها ل Llama 3 بمزيد من القدرات، مثل التعامل مع نماذج متعددة وفهم سياقات أكبر.
اطلع على مستودع GitHub الخاص بنا وانضم إلى مجتمعنا لمعرفة المزيد عن الذكاء الاصطناعي. قم بزيارة صفحات الحلول الخاصة بنا لمعرفة كيفية تطبيق الذكاء الاصطناعي في مجالات مثل التصنيع والزراعة.
