الدقة المختلطة

الدقة المختلطة هي تقنية مستخدمة في التعلم العميق لتسريع تدريب النموذج وتقليل استهلاك الذاكرة. وهي تنطوي على استخدام مجموعة من التنسيقات الرقمية منخفضة الدقة، مثل الفاصلة العائمة 16 بت (FP16)، والتنسيقات عالية الدقة، مثل الفاصلة العائمة 32 بت (FP32)، أثناء الحساب. من خلال الاستخدام الاستراتيجي للأرقام منخفضة الدقة لأجزاء معينة من النموذج، مثل ضرب الوزن، والحفاظ على المكونات الهامة مثل تحديثات الوزن بدقة أعلى، يمكن لتدريب الدقة المختلطة تسريع الأداء بشكل كبير على وحدات معالجة الرسومات (GPUs) الحديثة دون خسارة كبيرة في دقة النموذج.

كيفية عمل الدقة المختلطة

الفكرة الأساسية وراء الدقة المختلطة هي الاستفادة من سرعة وكفاءة الذاكرة لأنواع البيانات ذات الدقة الأقل. يمكن للأجهزة الحديثة، وخاصةً وحدات معالجة الرسومات NVIDIA المزودة بـ Tensor Cores، إجراء عمليات على أرقام 16 بت أسرع بكثير من العمليات على أرقام 32 بت. تتضمن العملية عادةً ثلاث خطوات رئيسية:

1. التحويل إلى دقة أقل: يتم تنفيذ معظم عمليات النموذج، وخاصة عمليات ضرب المصفوفات والحسابات التلافيفية المكثفة حسابيًا، باستخدام حساب نصف الدقة (FP16). هذا يقلل من حجم الذاكرة ويسرع الحسابات.
2. الحفاظ على نسخة رئيسية للأوزان: للحفاظ على دقة واستقرار النموذج، يتم الاحتفاظ بنسخة رئيسية من أوزان النموذج بتنسيق الفاصلة العائمة القياسي 32 بت (FP32). تُستخدم هذه النسخة الرئيسية لتجميع التدرجات وتحديث الأوزان أثناء عملية التدريب.
3. توسيع الخسارة: لمنع التدفق السفلي العددي—حيث تصبح قيم التدرج الصغيرة صفرًا عند تحويلها إلى FP16—يتم استخدام تقنية تسمى توسيع الخسارة. وهي تنطوي على ضرب الخسارة بمعامل توسيع قبل الانتشار العكسي للحفاظ على قيم التدرج ضمن نطاق قابل للتمثيل لـ FP16. قبل تحديث الأوزان، يتم تقليل التدرجات مرة أخرى.

تدعم أطر عمل التعلم العميق مثل PyTorch و TensorFlow دعمًا مدمجًا للدقة المختلطة التلقائية، مما يسهل تنفيذها.

التطبيقات والأمثلة

تستخدم الدقة المختلطة على نطاق واسع في تدريب نماذج التعلم الآلي (ML) واسعة النطاق، حيث تكون الكفاءة ذات أهمية قصوى.

• تدريب نماذج اللغة الكبيرة (LLMs): تحتوي نماذج مثل GPT-3 و BERT على مليارات المعلمات. سيتطلب تدريبهم باستخدام FP32 فقط كميات باهظة من ذاكرة GPU والوقت. يتيح الدقة المختلطة تدريب مثل هذه النماذج الأساسية (foundation models) عن طريق تقليل احتياجات الذاكرة وتسريع العمليات الحسابية بشكل كبير. يتيح ذلك للباحثين التكرار بشكل أسرع وبناء نماذج لغوية (language models) أكثر قوة.
• تسريع نماذج رؤية الحاسوب: في رؤية الحاسوب (CV)، تعمل الدقة المختلطة على تسريع تدريب النماذج المعقدة مثل الشبكات العصبية الالتفافية (CNNs) و محولات الرؤية (ViTs). بالنسبة لمهام مثل اكتشاف الكائنات و تقسيم الصور، تستفيد نماذج Ultralytics YOLO، بما في ذلك أحدث Ultralytics YOLO11، من الدقة المختلطة لتحقيق تقارب أسرع. هذا مفيد بشكل خاص لـ ضبط المعلمات الفائقة والتطوير السريع داخل منصات مثل Ultralytics HUB. يسهل التدريب الأسرع أيضًا إجراء تجارب أسرع على مجموعات بيانات كبيرة مثل COCO. يمكن أيضًا استخدام الدقة المختلطة أثناء الاستدلال لتسريع نشر النموذج، خاصةً عند التصدير إلى تنسيقات مثل TensorRT، والتي تم تحسينها بشكل كبير للدقة المنخفضة.

المفاهيم ذات الصلة

الدقة المختلطة هي واحدة من العديد من تقنيات التحسين المستخدمة لجعل نماذج التعلم العميق أكثر كفاءة. من المهم تمييزها عن المفاهيم ذات الصلة:

• Model Quantization: يقلل التكميم من حجم النموذج والتكلفة الحسابية عن طريق تحويل الأرقام ذات الفاصلة العائمة (مثل FP32 أو FP16) إلى تنسيقات عدد صحيح ذات بتات أقل، مثل INT8. في حين أن الدقة المختلطة تستخدم تنسيقات مختلفة للفاصلة العائمة أثناء التدريب، يتم تطبيق التكميم عادةً بعد التدريب (التكميم بعد التدريب) أو أثناءه (التدريب المدرك للتكميم) للتحسين من أجل الاستدلال، خاصة على الأجهزة الطرفية.
• Model Pruning: التقليم هو أسلوب يتضمن إزالة الاتصالات (الأوزان) الزائدة أو غير المهمة من شبكة عصبية. على عكس الدقة المختلطة، التي تغير التنسيق الرقمي للأوزان، فإن التقليم يغير بنية النموذج نفسها لتقليل حجمها وتعقيدها. يمكن استخدام هذه التقنيات معًا لتحقيق مكاسب أكبر في الأداء.