Distributed Training

التدريب الموزع هو أسلوب في التعلم الآلي حيث يتم تقسيم عبء عمل تدريب النموذج عبر معالجات أو أجهزة متعددة. يعد هذا النهج ضروريًا للتعامل مع مجموعات البيانات واسعة النطاق وبنيات الشبكات العصبية المعقدة التي قد تستغرق وقتًا غير عملي للتدريب على جهاز واحد. من خلال الاستفادة من القدرة الحسابية المشتركة لوحدات معالجة الرسومات (GPUs) أو وحدات معالجة الموتر (TPUs)، يعمل التدريب الموزع على تسريع دورة التطوير بشكل كبير، مما يسمح للباحثين والمهندسين بالتكرار بشكل أسرع وتحقيق دقة أعلى في نماذجهم.

Link to this sectionكيف يعمل التدريب الموزع#

الفكرة الأساسية وراء التدريب الموزع هي التوازي. بدلاً من معالجة البيانات بشكل تسلسلي على شريحة واحدة، يتم تقسيم المهمة إلى أجزاء أصغر تتم معالجتها في وقت واحد. هناك استراتيجيتان أساسيتان لتحقيق ذلك:

• توازي البيانات: هذا هو النهج الأكثر شيوعًا لمهام مثل اكتشاف الكائنات. في هذا الإعداد، يتم وضع نسخة من النموذج الكامل على كل جهاز. يتم تقسيم بيانات التدريب العالمية إلى دفعات أصغر، ويعالج كل جهاز دفعة مختلفة في نفس الوقت. بعد كل خطوة، تتم مزامنة التدرجات (تحديثات النموذج) عبر جميع الأجهزة لضمان بقاء أوزان النموذج متسقة.
• توازي النموذج: عندما تكون الشبكة العصبية (NN) كبيرة جدًا بحيث لا تتسع في ذاكرة GPU واحدة، يتم تقسيم النموذج نفسه عبر أجهزة متعددة. تقيم طبقات أو مكونات مختلفة من النموذج على شرائح مختلفة، وتتدفق البيانات بينها. غالبًا ما يكون هذا ضروريًا لتدريب النماذج الأساسية الضخمة ونماذج اللغات الكبيرة (LLMs).

Link to this sectionتطبيقات العالم الحقيقي#

لقد أحدث التدريب الموزع تحولاً في الصناعات من خلال جعل من الممكن حل المشكلات التي كانت في السابق مستحيلة من الناحية الحسابية.

• القيادة الذاتية: يتطلب تطوير مركبات ذاتية القيادة آمنة تحليل بيتابايت من بيانات الفيديو وأجهزة الاستشعار. يستخدم مهندسو السيارات مجموعات موزعة كبيرة لتدريب نماذج الرؤية من أجل التجزئة الدلالية واكتشاف المسارات في الوقت الفعلي. يضمن هذا النطاق الهائل أن أنظمة الذكاء الاصطناعي في السيارات يمكنها الاستجابة بشكل موثوق لظروف الطريق المتنوعة.
• التصوير الطبي: في قطاع الرعاية الصحية، يتطلب تحليل مسوحات ثلاثية الأبعاد عالية الدقة مثل الرنين المغناطيسي ذاكرة وقدرة معالجة كبيرة. يُمكّن التدريب الموزع الباحثين من بناء أدوات تشخيصية عالية الأداء لـ اكتشاف الأورام ومهام حرجة أخرى. من خلال استخدام أطر عمل مثل NVIDIA MONAI، يمكن للمستشفيات تدريب النماذج على مجموعات بيانات متنوعة دون مواجهة اختناقات في الذاكرة، مما يحسن نتائج الذكاء الاصطناعي في الرعاية الصحية.

Link to this sectionاستخدام التدريب الموزع مع Ultralytics#

تجعل مكتبة ultralytics تنفيذ التدريب الموزع لتوازي البيانات (DDP) أمرًا مباشرًا. يمكنك توسيع نطاق تدريب نماذج YOLO26 المتطورة عبر وحدات GPU متعددة ببساطة عن طريق تحديد فهارس الأجهزة في وسائط التدريب الخاصة بك.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Train the model using two GPUs (device 0 and 1)
# The library automatically handles the DDP communication backend
results = model.train(data="coco8.yaml", epochs=100, device=[0, 1])

Link to this sectionالمفاهيم والمقارنات ذات الصلة#

من المفيد تمييز التدريب الموزع عن المصطلحات المشابهة في نظام التعلم الآلي لفهم أدوارها المحددة:

• مقابل التعلم الاتحادي: بينما يتضمن كلاهما أجهزة متعددة، تختلف أهدافهما. عادةً ما يقوم التدريب الموزع بمركزة البيانات في مجموعة عالية الأداء لزيادة السرعة إلى أقصى حد. في المقابل، يحتفظ التعلم الاتحادي بالبيانات بشكل لامركزي على أجهزة المستخدمين (مثل الهواتف الذكية) لإعطاء الأولوية لـ خصوصية البيانات، وتحديث النموذج العالمي دون خروج البيانات الأولية من المصدر.
• مقابل الحوسبة عالية الأداء (HPC): HPC هو مجال واسع يشمل الحوسبة الفائقة للمحاكاة العلمية مثل التنبؤ بالطقس. التدريب الموزع هو تطبيق محدد لـ HPC يتم تطبيقه على خوارزميات التحسين في التعلم العميق. وغالبًا ما يعتمد على مكتبات اتصالات متخصصة مثل NVIDIA NCCL لتقليل زمن الوصول بين وحدات GPU.

Link to this sectionالتوسع مع منصات السحابة#

يمكن أن تكون إدارة البنية التحتية للتدريب الموزع معقدة. تعمل المنصات الحديثة على تبسيط ذلك من خلال توفير بيئات مدارة. على سبيل المثال، تسمح منصة Ultralytics للمستخدمين بإدارة مجموعات البيانات وبدء عمليات التدريب التي يمكن نشرها في بيئات سحابية أو مجموعات محلية. يعمل هذا التكامل على تبسيط سير العمل من تسمية البيانات إلى نشر النموذج النهائي، مما يضمن أن التوسع إلى وحدات GPU متعددة سلس قدر الإمكان. وبالمثل، يوفر مزودو السحابة مثل Google Cloud Vertex AI و Amazon SageMaker بنية تحتية قوية لتشغيل مهام التدريب الموزعة على نطاق المؤسسات.