Distributed Training
استكشف كيف يوسّع التدريب الموزّع أحمال الذكاء الاصطناعي عبر وحدات GPU متعددة. تعلّم تسريع تدريب Ultralytics YOLO26 باستخدام DDP للحصول على نتائج أسرع وأكثر دقة.
التدريب الموزَّع هو أسلوب في تعلّم الآلة تُقسَّم فيه أعباء تدريب نموذج ما بين عدة معالجات أو أجهزة. ويُعد هذا النهج ضروريًا للتعامل مع مجموعات البيانات واسعة النطاق وبُنى الشبكات العصبية المعقدة التي قد تستغرق، لولا ذلك، وقتًا غير عملي للتدريب على جهاز واحد. ومن خلال الاستفادة من القدرة الحاسوبية المجمَّعة لعدة وحدات معالجة الرسومات (GPUs) أو وحدات معالجة الموترات (TPUs)، يسرّع التدريب الموزَّع دورة التطوير بدرجة كبيرة، مما يتيح للباحثين والمهندسين إجراء التكرارات بسرعة أكبر وتحقيق دقة أعلى في نماذجهم.
كيفية عمل التدريب الموزَّع#
الفكرة الأساسية وراء التدريب الموزَّع هي التوازي. فبدلًا من معالجة البيانات تسلسليًا على شريحة واحدة، تُقسَّم المهمة إلى أجزاء أصغر تُعالَج في الوقت نفسه. وهناك استراتيجيتان أساسيتان لتحقيق ذلك:
- التوازي على مستوى البيانات: يُعد هذا النهج الأكثر شيوعًا لمهام مثل اكتشاف الأجسام. في هذا الإعداد، توضع نسخة من النموذج بأكمله على كل جهاز. وتُقسَّم بيانات التدريب الشاملة إلى دفعات أصغر، ويعالج كل جهاز دفعة مختلفة في الوقت نفسه. وبعد كل خطوة، تُزامَن التدرجات (تحديثات النموذج) عبر جميع الأجهزة لضمان بقاء أوزان النموذج متسقة.
- التوازي على مستوى النموذج: عندما تكون الشبكة العصبية (NN) كبيرة جدًا بحيث لا تتسع لها ذاكرة GPU واحدة، يُقسَّم النموذج نفسه بين عدة أجهزة. فتوجد طبقات أو مكونات مختلفة من النموذج على شرائح مختلفة، وتتدفق البيانات بينها. وغالبًا ما يكون ذلك ضروريًا لتدريب النماذج التأسيسية الضخمة ونماذج اللغة الكبيرة (LLMs).
التطبيقات الواقعية#
أحدث التدريب الموزَّع تحولًا في قطاعات متعددة، إذ أتاح حل مشكلات كان التعامل معها حسابيًا غير ممكن في السابق.
- القيادة الذاتية: يتطلب تطوير المركبات الذاتية الآمنة تحليل بيتابايتات من بيانات الفيديو والمستشعرات. ويستخدم مهندسو السيارات عناقيد موزَّعة كبيرة لتدريب نماذج الرؤية على التقسيم الدلالي واكتشاف المسارات في الوقت الفعلي. ويضمن هذا النطاق الهائل قدرة أنظمة الذكاء الاصطناعي في قطاع السيارات على الاستجابة بصورة موثوقة لظروف الطرق المتنوعة.
- التصوير الطبي: يتطلب تحليل المسوحات ثلاثية الأبعاد عالية الدقة، مثل صور الرنين المغناطيسي، قدرًا كبيرًا من الذاكرة والقدرة على المعالجة في قطاع الرعاية الصحية. ويتيح التدريب الموزَّع للباحثين إنشاء أدوات تشخيصية عالية الأداء من أجل اكتشاف الأورام وغيرها من المهام المهمة. وباستخدام أُطر مثل NVIDIA MONAI، تستطيع المستشفيات تدريب النماذج على مجموعات بيانات متنوعة دون الاصطدام باختناقات الذاكرة، مما يحسّن نتائج الذكاء الاصطناعي في الرعاية الصحية.
استخدام التدريب الموزَّع مع Ultralytics#
تجعل مكتبة ultralytics تنفيذ تدريب التوازي الموزَّع للبيانات (DDP) أمرًا مباشرًا. ويمكنك توسيع نطاق تدريب نماذج YOLO26 المتقدمة عبر عدة GPUs من خلال تحديد فهارس الأجهزة في وسيطات التدريب.
from ultralytics import YOLO
# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")
# Train the model using two GPUs (device 0 and 1)
# The library automatically handles the DDP communication backend
results = model.train(data="coco8.yaml", epochs=100, device=[0, 1])المفاهيم والمقارنات ذات الصلة#
من المفيد التمييز بين التدريب الموزَّع والمصطلحات المشابهة في منظومة تعلّم الآلة لفهم أدوارها المحددة:
- مقابل التعلّم الاتحادي: رغم أن كليهما يشمل عدة أجهزة، فإن أهدافهما مختلفة. فعادةً ما يعمل التدريب الموزَّع على مركزة البيانات في عنقود عالي الأداء لتعظيم السرعة. وعلى النقيض، يحافظ التعلّم الاتحادي على لامركزية البيانات في أجهزة المستخدمين (مثل الهواتف الذكية) لإعطاء الأولوية لـخصوصية البيانات، مع تحديث النموذج الشامل دون أن تغادر البيانات الخام مصدرها على الإطلاق.
- مقابل الحوسبة عالية الأداء (HPC): تُعد الحوسبة عالية الأداء مجالًا واسعًا يشمل الحوسبة الفائقة لمحاكاة علمية مثل التنبؤ بالطقس. أما التدريب الموزَّع فهو تطبيق محدد للحوسبة عالية الأداء يُطبَّق على خوارزميات التحسين في التعلّم العميق. وغالبًا ما يعتمد على مكتبات اتصال متخصصة مثل NVIDIA NCCL لتقليل زمن الاستجابة بين وحدات GPU.
التوسّع باستخدام المنصات السحابية#
قد تكون إدارة البنية التحتية اللازمة للتدريب الموزَّع معقدة. وتبسّط المنصات الحديثة ذلك من خلال توفير بيئات مُدارة. فعلى سبيل المثال، تتيح منصة Ultralytics للمستخدمين إدارة مجموعات البيانات وبدء عمليات تدريب يمكن نشرها في بيئات سحابية أو عناقيد محلية. ويسهّل هذا التكامل سير العمل من وسم البيانات إلى نشر النموذج النهائي، مما يضمن أن التوسّع إلى عدة وحدات GPU يتم بأكبر قدر ممكن من السلاسة. وبالمثل، يوفر مزودو الخدمات السحابية مثل Google Cloud Vertex AI وAmazon SageMaker بنية تحتية قوية لتشغيل مهام التدريب الموزَّع على نطاق المؤسسات.
