مسرد المصطلحات

التدريب الموزع

تسريع تدريب الذكاء الاصطناعي من خلال التدريب الموزع! تعرّف على كيفية تقليل وقت التدريب، وتوسيع نطاق النماذج، وتحسين الموارد لمشاريع تعلّم الآلة المعقدة.

التدريب الموزّع هو تقنية مستخدمة في التعلم الآلي (ML) لتسريع عملية تدريب النماذج بشكل كبير، خاصةً النماذج الكبيرة والمعقدة الشائعة في التعلم العميق (DL). عندما تصبح مجموعات البيانات ضخمة ويزداد حجم النماذج مثل المحولات أو الشبكات التلافيفية الكبيرة، فإن تدريبها على معالج واحد، مثل CPU أو حتى وحدة معالجة مركزية قوية GPUيمكن أن يستغرق وقتًا طويلاً بشكل غير عملي - أيام أو أسابيع أو حتى أشهر. يتغلب التدريب الموزع على عنق الزجاجة هذا من خلال تقسيم عبء العمل الحسابي على وحدات معالجة متعددة. يمكن أن تتواجد هذه الوحدات (غالباً ما تكون وحدات معالجة الرسومات) داخل جهاز واحد قوي أو يمكن أن تنتشر عبر أجهزة متعددة متصلة في شبكة، وغالباً ما تستخدم موارد الحوسبة السحابية.

كيف يعمل التدريب الموزع

المبدأ الأساسي وراء التدريب الموزع هو التوازي - تقسيم مهمة التدريب بحيث يمكن تشغيل أجزاء متعددة في وقت واحد. فبدلاً من قيام معالج واحد بمعالجة جميع البيانات والحسابات بالتتابع، تتم مشاركة العمل بين عدة معالجات يشار إليها غالبًا باسم "العمال". هناك استراتيجيتان أساسيتان أساسيتان لتحقيق ذلك:

توازي البيانات: هذا هو النهج الأكثر شيوعًا. يتم وضع نسخة كاملة من النموذج على كل عامل. يتم تقسيم مجموعة بيانات التدريب إلى أجزاء أصغر، ويقوم كل عامل بمعالجة الجزء المخصص له باستخدام نسخته المحلية من النموذج. يقوم العمال بحساب تحديثات أوزان النموذج بناءً على مجموعة البيانات الفرعية الخاصة بهم. ثم يتم تجميع هذه التحديثات (التدرجات) عبر جميع العمال (غالبًا ما يتم تجميعها في المتوسط) واستخدامها لتحديث النموذج الرئيسي أو مزامنة جميع نسخ النموذج. يسمح ذلك بمعالجة أحجام دفعات أكبر بفعالية. تقدم أطر عمل مثل PyTorch أطر عمل مثل PyTorch البيانات الموزعة المتوازية (DDP) ويوفرTensorFlow استراتيجيات تدريب موزعة متنوعة تنفذ توازي البيانات. يعد الاتصال الفعال بين العمال أمرًا بالغ الأهمية، وغالبًا ما تدار بواسطة مكتبات مثل مكتبة الاتصالات الجماعيةNVIDIA (NCCL).
توازي النماذج: تُستخدم هذه الاستراتيجية عادةً عندما يكون النموذج كبيرًا جدًا بحيث لا يتناسب مع ذاكرة GPU واحدة. وبدلاً من تكرار النموذج بالكامل، يتم وضع أجزاء مختلفة (مثل الطبقات) من النموذج على عمّال مختلفين. تتدفق البيانات بالتتابع عبر هذه الأجزاء عبر العمال أثناء التمريرات الأمامية والخلفية. هذا النهج أكثر تعقيدًا في التنفيذ من توازي البيانات ولكنه ضروري لتدريب نماذج ضخمة حقًا. تقدم بعض أطر العمل أدوات للمساعدة، مثل نهجTensorFlow لتوازي النماذج، وغالبًا ما تُستخدم تقنيات مثل توازي خطوط الأنابيب.

التطبيقات الواقعية

لا غنى عن التدريب الموزع في العديد من تطبيقات الذكاء الاصطناعي المتطورة:

تدريب نماذج اللغات الكبيرة (LLMs): تحتوي النماذج مثل GPT-4 من OpenAI أو Gemini من Google على مليارات أو تريليونات من المعلمات. ويتطلب تدريبها توزيع العمليات الحسابية على آلاف وحدات معالجة الرسومات لفترات طويلة. وهذا أمر ضروري لمهام مثل معالجة اللغة الطبيعية (NLP) والترجمة الآلية وبناء روبوتات الدردشة الآلية المتقدمة.
نماذج الرؤية الحاسوبية المتقدمة: تدريب أحدث نماذج الرؤية الحاسوبية المتقدمة، مثل Ultralytics YOLO لاكتشاف الأجسام أو النماذج المعقدة لتجزئة الصور، على مجموعات بيانات كبيرة مثل ImageNet أو COCO، تستفيد بشكل كبير من التدريب الموزع. على سبيل المثال، يتضمن تدريب نموذج الكشف عن الأجسام للمركبات ذاتية القيادة كميات هائلة من بيانات الصور ويتطلب دقة عالية، مما يجعل التدريب الموزع على وحدات معالجة رسومات متعددة ضرورة لتحقيق نتائج في إطار زمني معقول. ينطبق هذا أيضاً على المجالات المتخصصة مثل تحليل الصور الطبية.
أنظمة التوصيات: تقوم شركات مثل نيتفليكس أو أمازون بتدريب نماذج معقدة على بيانات تفاعل المستخدم لتوليد توصيات مخصصة. وغالبًا ما يستلزم حجم هذه البيانات وجود مناهج موزعة.
الحوسبة العلمية: غالبًا ما تستفيد عمليات المحاكاة واسعة النطاق في مجالات مثل نمذجة المناخ والفيزياء واكتشاف الأدوية من مبادئ الحوسبة الموزعة المشابهة لتلك المستخدمة في التدريب الموزع لتعلم الآلة.