ترخيص YOLO
العودة إلى مسرد Ultralytics

Context Parallelism

يقسّم التوازي السياقي تسلسل إدخال طويلًا واحدًا بين وحدات GPU، التي تتبادل المفاتيح والقيم أثناء الانتباه، ما يقلل الذاكرة التي تحتاج إليها كل وحدة GPU.

التوازي السياقي (CP) تقنية من التدريب الموزع تقسم تسلسل إدخال طويلًا واحدًا على عدة وحدات GPU. تحتفظ كل وحدة GPU بحصة متجاورة أو متداخلة من الرموز وبجميع التنشيطات المحسوبة منها، لذلك تنخفض الذاكرة التي يحتاجها كل جهاز عند إضافة أجهزة أخرى. وتُنفّذ الطبقات التي تتعامل مع الرموز كلٌّ على حدة، مثل التطبيع وكتل التغذية الأمامية، على الرموز المحلية دون اتصال. أما الانتباه الذاتي فيختلف، إذ يمكن لكل استعلام الاطلاع على كل مفتاح، لذا تتبادل وحدات GPU المفاتيح والقيم لإنتاج الناتج نفسه تمامًا الذي ينتجه الانتباه على التسلسل الكامل. وهذه تقنية للأنظمة تتيح تشغيل نافذة سياق محددة، يثبت طولها وفق بنية النموذج وتدريبه.

كيف تتبادل وحدات GPU المفاتيح والقيم#

تختلف التطبيقات أساسًا في طريقة وصول المفاتيح والقيم إلى وحدات GPU التي تحتاج إليها:

  • انتباه الحلقة: تنتظم وحدات GPU في حلقة، وتمرر كتل المفاتيح والقيم إلى الوحدات المجاورة أثناء حساب الكتلة الموجودة لديها، ما يخفي زمن النقل خلف الحوسبة.
  • التجميع الشامل: تجمع كل وحدة GPU المفاتيح والقيم كلها، ثم تحسب الانتباه لاستعلاماتها الخاصة. اختارت Meta هذه الطريقة في Llama 3 لأنها تدعم أقنعة المستندات بسهولة، كما أن انتباه الاستعلامات المجمعة يجعل المفاتيح والقيم أصغر بكثير من الاستعلامات.
  • التبادل الشامل: يعيد DeepSpeed Ulysses ترتيب البيانات بحيث تحتفظ كل وحدة GPU بكل الرموز لمجموعة فرعية من رؤوس الانتباه، ما يحد درجة التوازي بعدد الرؤوس.

تستبدل واجهة برمجة تطبيقات التوازي السياقي التجريبية في PyTorch انتباه حاصل الضرب النقطي المُقاس بانتباه الحلقة داخل كتلة context_parallel()، بينما تجمع Megatron-Core من NVIDIA المفاتيح والقيم عبر عمليات نقل من نقطة إلى نقطة ذات شكل حلقي في المرور الأمامي، وتنفذ عملية reduce-scatter لتدرجاتها في المرور الخلفي. يختلف CP عن التوازي الأقدم على مستوى التسلسل في Megatron، الذي يقسّم تنشيطات تطبيع الطبقات وdropout فقط إلى جانب التوازي الموتر، لأنه يقسّم المدخلات وكل التنشيطات على امتداد التسلسل.

موازنة الانتباه السببي#

باستخدام قناع سببي، لا ينتبه الرمز i إلا إلى الرموز i التي تسبقه وإلى نفسه، لذا تتطلب الرموز اللاحقة كلفة أكبر. إذا أُسنِع ربع متجاور من التسلسل إلى كل وحدة GPU، فستكون لدى الوحدة الأولى كمية عمل قليلة، بينما تتحمل الأخيرة معظم العمل، وتحدد الوحدة الأبطأ وتيرة المعالجة. يقسّم Llama 3 وMegatron-Core التسلسل إلى عدد من المقاطع يساوي ضعف عدد وحدات GPU، ويعطيان كل وحدة مقطعًا مبكرًا ومقطعه المناظر من نهاية التسلسل:

import torch

seq_len, ranks = 8192, 4
positions = torch.arange(seq_len)
causal_work = positions + 1  # ⁨في ظل قناع سببي، ينتبه الرمز i إلى i + 1 من المفاتيح⁩

# ⁨تقسيم متجاور: يأخذ الرتبة r الربع رقم r من التسلسل⁩
contiguous = [causal_work[shard].sum().item() for shard in positions.chunk(ranks)]

# ⁨تقسيم متوازن الحمل: يُقسّم التسلسل إلى 2 * ranks من المقاطع، وتأخذ الرتبة r المقطع r ومقطعه المناظر من النهاية⁩
chunks = positions.chunk(2 * ranks)
balanced = [causal_work[torch.cat([chunks[r], chunks[-1 - r]])].sum().item() for r in range(ranks)]

print("Contiguous, millions of scores per rank:", [round(w / 1e6, 1) for w in contiguous])
print("Balanced, millions of scores per rank:  ", [round(w / 1e6, 1) for w in balanced])

ينتج عن التقسيم المتجاور [2.1, 6.3, 10.5, 14.7] مليون درجة انتباه لوحدات GPU الأربع، أي تفاوتًا بمقدار 7×، بينما يمنح التقسيم المعكوس كل وحدة 8.4 مليون درجة.

مواضع استخدام التوازي السياقي#

يُعد تدريب نماذج اللغة الكبيرة (LLMs) على المستندات الطويلة وقواعد الشيفرات الاستخدام الرئيسي. وسّعت Meta نموذج Llama 3 405B إلى تسلسلات بطول 131,072 رمزًا باستخدام التوازي السياقي ذي 16 اتجاهًا إلى جانب توازي الموتر وخطوط الأنابيب والبيانات على 16,384 وحدة H100 GPU، محققةً 38% من ذروة معدل نقل BF16، مقارنةً بـ41% للمجموعة نفسها عند 8,192 رمزًا. أما الاستخدام الآخر فهو الفيديو: درّبت Movie Gen من Meta نموذج توليد الفيديو ذا 30 مليار مُعامل على مقاطع مشفّرة بنحو 73,000 رمز، باستخدام التوازي السياقي إلى جانب توازي الموتر والتسلسل والبيانات المجزأة بالكامل. وتواجه نماذج الرؤية واللغة وأنظمة فهم الفيديو الطويلة الحد نفسه، لأن كل إطار يضيف مئات الرموز.

يجمع التوازي السياقي بين استراتيجيات أخرى:

  • التوازي عبر خطوط الأنابيب: يقسّم طبقات النموذج على وحدات GPU.
  • توازي البيانات: يقسّم الدفعة على نسخ كاملة من النموذج.
  • Flash attention: يتجنب تخزين مصفوفة الانتباه على وحدة GPU واحدة. وتشغّل تطبيقات التوازي السياقي نواةً مشابهة على الكتلة المحلية لكل وحدة GPU.

لا تصل نماذج الصور إلى هذه الأطوال إلا عند دقة عالية جدًا، إذ يزداد طول التسلسل مع عدد الرقع أو مواضع خريطة السمات. ويضع Ultralytics YOLO26 الانتباه الذاتي على خريطة السمات الأ粗ّ، ذات خطوة 32، في الطبقتين 10 و22 من تهيئة النموذج، بحيث يغطي الانتباه 400 موضع عند قيمة imgsz=640 الافتراضية، و1,600 موضع عند imgsz=1280.

استكشف الحلول

الرؤية الحاسوبية في الرياضة

الرؤية الحاسوبية في الرياضة

اكتشف كيف يعزّز Ultralytics YOLO الرؤية الحاسوبية الرياضية عبر تتبّع اللاعبين والكرة، وتحليلات الأداء، ورؤى التدريب، وإعادة تأهيل الرياضيين.
معرفة المزيد
الرؤية الحاسوبية للصور الجوية

الرؤية الحاسوبية للصور الجوية

حوّل صور الطائرات المسيّرة والصور الجوية إلى رؤى آنية للزراعة وتربية الأحياء المائية والحفاظ على البيئة والتحليل الجغرافي المكاني باستخدام Ultralytics YOLO.
معرفة المزيد
الرؤية الحاسوبية في قطاع الطيران والفضاء

الرؤية الحاسوبية في قطاع الطيران والفضاء

طبّق الرؤية الحاسوبية في مجال الطيران والفضاء باستخدام Ultralytics YOLO لفحص الطائرات، واكتشاف الأجسام الغريبة على المدارج (FOD)، والعمليات الأرضية في المطارات، واكتشاف عيوب المواد المركّبة.
معرفة المزيد
الرؤية الحاسوبية في مجال الأمن

الرؤية الحاسوبية في مجال الأمن

احمِ كل موقع باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري مراقبة المحيط، واكتشاف التهديدات، والتعرف على لوحات المركبات، والسلامة في مكان العمل.
معرفة المزيد
الرؤية الحاسوبية في الروبوتات

الرؤية الحاسوبية في الروبوتات

عزّز أداء الآلات الذكية باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري في الروبوتات الملاحة الذاتية والإدراك وتعقب الأجسام والتحكم الآني.
معرفة المزيد
الرؤية الحاسوبية في الخدمات اللوجستية

الرؤية الحاسوبية في الخدمات اللوجستية

بسّط العمليات اللوجستية باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري فحص الطرود وفرزها وتتبع المركبات ومراقبة سلامة المستودعات في الوقت الفعلي.
معرفة المزيد
الرؤية الحاسوبية في تجارة التجزئة

الرؤية الحاسوبية في تجارة التجزئة

أعِد تصور تجارة التجزئة باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري تتبع المخزون ومراقبة الرفوف وإدارة الطوابير واستخلاص رؤى أذكى عن العملاء.
معرفة المزيد
الرؤية الحاسوبية في الرعاية الصحية

الرؤية الحاسوبية في الرعاية الصحية

أنشئ حلولًا للرعاية الصحية باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي البصري في الرعاية الصحية سرعة التصوير الطبي، وكفاءة التشخيص، ومراقبة المرضى.
معرفة المزيد
الرؤية الحاسوبية في التصنيع

الرؤية الحاسوبية في التصنيع

حسّن التصنيع باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية مراقبة الجودة واكتشاف العيوب والالتزام بمعدات الوقاية الشخصية وأتمتة خطوط التجميع.
معرفة المزيد
الرؤية الحاسوبية في قطاع السيارات

الرؤية الحاسوبية في قطاع السيارات

طبّق الرؤية الحاسوبية في قطاع السيارات باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية سلامة الطرق ومساعدة السائق وأتمتة المركبات لإنشاء طرق أكثر ذكاءً.
معرفة المزيد
الرؤية الحاسوبية في الزراعة

الرؤية الحاسوبية في الزراعة

أدخل الذكاء الاصطناعي البصري إلى الزراعة الذكية باستخدام نماذج Ultralytics YOLO. عزّز مراقبة المحاصيل وتتبع الماشية والزراعة الدقيقة لزيادة الإنتاجية وتحسينها.
معرفة المزيد

لنبنِ مستقبل الذكاء الاصطناعي معًا!

ابدأ رحلتك نحو مستقبل تعلّم الآلة