مسرد المصطلحات

التدريب الموزع

تسريع تدريب الذكاء الاصطناعي باستخدام التدريب الموزع! تعرف على كيفية تقليل وقت التدريب وتوسيع نطاق النماذج وتحسين الموارد لمشاريع التعلم الآلي المعقدة.

التدريب الموزع هو تقنية قوية في التعلم الآلي (ML) التي تسرّع عملية إنشاء عملية إنشاء النموذج عن طريق تقسيم عبء العمل الحسابي عبر معالجات متعددة، مثل وحدات معالجة الرسومات (GPUs) أو وحدات معالجة Tensor (TPUs). من خلال الاستفادة من القوة المجمعة للأجهزة المتزامنة - سواء كانت موجودة على محطة عمل واحدة أو متصلة بالشبكة عبر مجموعة كبيرة - يمكن للمطورين تقليل الوقت اللازم لتدريب بنى التعلم العميق (DL) المعقدة. هذا النهج ضروري للتعامل مع مجموعات البيانات الضخمة وتطوير أحدث أنظمة أنظمة الذكاء الاصطناعي المتطورة, مما يتيح دورات تكرار أسرع وتجارب أكثر شمولاً.

الاستراتيجيات الأساسية للتوازي

لتوزيع عبء العمل بفعالية، يستخدم المهندسون عادةً واحدة من استراتيجيتين أساسيتين، أو نهج هجين مصممة لتحقيق أقصى قدر من الكفاءة:

توازي البيانات: هذه هي الطريقة الأكثر شيوعًا لمهام مثل اكتشاف الكائنات. في هذا الإعداد، توجد نسخة كاملة كاملة من النموذج موجودة على كل جهاز. يتم تقسيم يتم تقسيم بيانات التدريب إلى أجزاء أصغر، و ويعالج كل جهاز مجموعة فرعية مختلفة في وقت واحد. أثناء مرحلة مرحلة الانتشار العكسي، يتم حساب التدرجات بشكل مستقل ومن ثم تتم مزامنتها عبر جميع الأجهزة باستخدام بروتوكولات الاتصال مثل مثل واجهة تمرير الرسائل (MPI) لتحديث أوزان النموذج بشكل متسق.
توازي النموذج: عندما تكون تكون الشبكة العصبية (NN) أكبر من أن تتسع داخل ذاكرة GPU واحدة، فإن توازي النماذج يكون مطلوبًا. يتم تقسيم الطبقات أو مكونات النموذج عبر أجهزة مختلفة. تتدفق البيانات بشكل متسلسل أو متزامن بين الأجهزة أثناء مرورها عبر الشبكة. هذه التقنية ضرورية لتدريب النماذج التأسيسية الضخمة و النماذج اللغوية الكبيرة (LLMs)، حيث يمكن أن يصل عدد المعلمات إلى تريليونات، مما يتطلب أدوات متخصصة مثل Microsoft DeepSpeed لإدارة الذاكرة.

تطبيقات واقعية

يمكّن التدريب الموزع الصناعات من حل المشاكل التي كانت في السابق غير ممكنة حسابيًا بسبب ضيق الوقت أو قيود الذاكرة.

القيادة الذاتية: يتطلب تطوير سيارات ذاتية القيادة موثوقة معالجة بيتابايت من الفيديو وبيانات المستشعرات. وتستخدم شركات السيارات مجموعات موزعة على نطاق واسع لتدريب نماذج الرؤية من أجل التجزئة الدلالية وتتبع الأجسام في الوقت الحقيقي. من خلال استخدام الذكاء الاصطناعي في سير عمل السيارات, يمكن للمهندسين تكرار نماذج السلامة الحرجة بسرعة لتحسين الأداء.
التصوير الطبي: في الذكاء الاصطناعي في مجال الرعاية الصحية، يتطلب تحليل الأشعة ثلاثية الأبعاد عالية الدقة عالية الدقة، مثل التصوير بالرنين المغناطيسي أو التصوير المقطعي المحوسب، يتطلب موارد حاسوبية كبيرة. يتيح التدريب الموزع للباحثين تدريب النماذج التشخيصية عالية الدقة على مجموعات بيانات متنوعة متنوعة ومتوافقة مع الخصوصية. أطر عمل مثل NVIDIA CLARA غالبًا ما تعتمد على التقنيات الموزعة لمعالجة هذه الصور الطبية المعقدة بكفاءة.

تنفيذ التدريب الموزع باستخدام YOLO

إن ultralytics تبسط المكتبة تنفيذ التدريب الموازي للبيانات الموزعة (DDP). يمكنك يمكنك بسهولة توسيع نطاق تدريبك لـ YOLO11 النماذج عبر وحدات معالجة رسومات متعددة بمجرد تحديد مؤشرات الجهاز.

from ultralytics import YOLO

# Load a pre-trained YOLO11 model
model = YOLO("yolo11n.pt")

# Train the model using two GPUs (device 0 and 1)
# The library automatically handles DDP setup for parallel processing
results = model.train(data="coco8.yaml", epochs=5, device=[0, 1])