Context Parallelism

التوازي السياقي هو تقنية حوسبة موزعة تقسم تسلسل إدخال طويلاً عبر مسرعات متعددة. تعالج كل وحدة معالجة رسومية (GPU) جزءاً فقط من التسلسل بينما تتعاون مع الوحدات الأخرى أثناء الانتباه. يؤدي هذا إلى تقليل ذاكرة التنشيط لكل جهاز، مما يُمكّن محولاً (Transformer) من التدريب على مدخلات قد تتجاوز ذاكرة وحدة معالجة رسومية واحدة، مثل المستندات الطويلة جداً، أو مقاطع الفيديو الممتدة، أو المجموعات الكبيرة من رقع الصور.

على عكس مجرد توسيع نافذة السياق (context window) للنموذج، لا يغير التوازي السياقي كمية المعلومات التي يمكن للبنية قبولها نظرياً. وبلاً من ذلك، فإنه يجعل معالجة هذا السياق عملية من الناحية الحسابية عن طريق توزيع بُعد التسلسل.

كيف يعمل التوازي السياقي#

افترض أن تسلسلاً يحتوي على 32,000 رمز وأن التوازي السياقي يستخدم أربع وحدات معالجة رسومية (GPU). يتلقى كل جهاز في البداية ما يقريب من 8,000 رمز ويخزن التنشيطات الوسيطة المقابلة.

يمكن لمعظم العمليات، مثل التطبيع وطبقات التغذية الأمامية، معالجة أجزاء التسلسل المحلية هذه بشكل مستقل. التحدي هو آلية الانتباه (attention mechanism): فقد يحتاج الاستعلام المحلي إلى الانتباه إلى المفاتيح والقيم التي يحتفظ بها كل جهاز آخر.

لذلك تتبادل التنفيذات كتل المفتاح والقيمة (KV) بين وحدات معالجة الرسوميات (GPUs). في انتباه الحلقة (ring attention)، يحسب كل جهاز انتباهاً جزئياً باستخدام بياناته المحلية، ويمتمرر كتلة مفتاح وقيمة (KV) إلى الجهاز التالي، ويكرر ذلك حتى يعالج التسلسل الكامل. يوضح البرنامج التعليمي للتوازي السياقي في PyTorch هذا السلوك من خلال انتباه المنتج النقي المُقاس الموزع، بينما يصف حزمة التوازي السياقي من NVIDIA خيارات الاتصال الشامل (all-gather) وتقليل التشتيت (reduce-scatter) والقائمة على الحلقة.

النتيجة النهائية مكافئة رياضياً لانتباه التسلسل الكامل، مع مراعاة الاختلافات العددية العادية، ولكن لا يلزم أن يحتفظ أي GPU منفرد بكل تنشيط تسلسلي.

لماذا يهم التوازي السياقي#

تخلق التسلسلات الطويلة مشكلتي تحجيم رئيسيتين. أولاً، تستهلك التنشيطات المحفوظة مزيداً من الذاكرة كلما زاد طول التسلسل. ثانياً، يقارن الانتباه الذاتي القياسي الرموز عبر التسلسل، مما ينتج عنه حسابات كبيرة وبيانات مؤقتة.

يعالج التوازي السياقي مشكلة الذاكرة عن طريق تقسيم التنشيطات بين الأجهزة. يمكنه أيضاً تقسيم عمل الانتباه، على الرغم من أن الاتصال يفرض تكلفة جديدة. تداخل الأنظمة الفعالة عمليات نقل مفتاح وقيمة (KV) مع الحسابات باستخدام عمليات مثل تلك الموثقة في دليل العمليات الجماعية لـ NCCL.

تكون هذه التقنية أكثر قيمة عندما يتسبب طول التسلسل، بدلاً من أوزان النموذج أو حجم الدُفعة، في خطأ نفاد الذاكرة. وهي تنتمي إلى المجال الأوسع لـ التدريب الموزع (distributed training) وغالباً ما يتم دمجها مع استراتيجيات أخرى لتحجيم أبعاد متعددة في وقت واحد.

التوازي السياقي مقابل التقنيات ذات الصلة#

• توازي الموتر (Tensor parallelism) يقسم العمليات أو مصفوفات الأوزان داخل الطبقات الفردية. وبدلاً من ذلك، يقسم التوازي السياقي الرموز على طول بُعد التسلسل.
• توازي خط الأنابيب (Pipeline parallelism) يعين مجموعات مختلفة من طبقات النموذج لأجهزة مختلفة. إنه يقسم عمق النموذج بدلاً من طول التسلسل.
• توازي البيانات يكرر النموذج ويمنح كل نسخة أمثلة تدريب مختلفة. يوصي نظرة عامة على توزيع PyTorch به عندما يتسع النموذج الكامل وكل عينة على وحدة معالجة رسومية (GPU) واحدة.
• توازي التسلسل غالباً ما يقسم التنشيطات للعمليات المحددة المرتبطة بتوازي الموتر. يطبق التوازي السياقي تقسيم التسلسل بشكل أوسع عبر مدخلات الشبكة والتنشيطات.

هذه الأساليب متكاملة. يوضح دليل استراتيجيات التوازي من NVIDIA كيف يمكن لتوازي السياق والموتر وخط الأنابيب والبيانات تشكيل تخطيط جهاز متعدد الأبعاد.

تطبيقات العالم الحقيقي#

• الذكاء الاصطناعي للمستندات الطويلة: قد يحتاج نموذج اللغة القانوني أو الطبي إلى معالجة ملف حالة كامل، أو تاريخ المريض، أو دليل تقني. يوزع التوازي السياقي آلاف رموز المستندات عبر المسرعات، مما يقلل من ضغط ذاكرة التنشيط مع الحفاظ على الانتباه بين الأقسام البعيدة.

• فهم الفيديو الطويل والوسائط المتعددة: قد تمثل محولات الفيديو ونماذج الرؤية الكبيرة الإطارات، ورقع الصور، ومقاطع الصوت، والنص كتسلسل رموز طويل واحد. يساعد توزيع هذا التسلسل النماذج على تحليل التسجيلات الممتدة دون تقليل عدد الإطارات أو التفاصيل المكانية بشكل عدواني. يوضح نظرة عامة على التوازي السياقي لـ AWS Neuron كيف يمكن لمجموعات المسرعات تبادل أجزاء مفتاح وقيمة (KV) لأحمال العمل ذات السياق الطويل هذه.

بالنسبة لبنى الرؤية الحاسوبية المدمجة مثل Ultralytics YOLO26، يكون التوازي السياقي غير ضروري عادةً. يعد توازي البيانات القياسي متعدد وحدات معالجة الرسوميات من خلال سير عمل تدريب نموذج Ultralytics هو الطريقة الأنسب عموماً لتسريع التدريب.

الاستخدام العملي والمقايضات#

يستخدم المثال الأدنى التالي واجهة برمجة تطبيقات السياق الموازي التجريبية لـ PyTorch وضوابط انتباه المنتج النقي المُقاس. احفظه باسم cp_example.py وأطلقه على وحدتي معالجة رسومية (GPUs) باستخدام torchrun --standalone --nproc-per-node=2 cp_example.py.

import os

import torch
import torch.distributed as dist
import torch.nn.functional as F
from torch.distributed.device_mesh import init_device_mesh
from torch.distributed.tensor.experimental import context_parallel
from torch.nn.attention import SDPBackend, sdpa_kernel

rank = int(os.environ["RANK"])
world_size = int(os.environ["WORLD_SIZE"])

torch.cuda.set_device(rank)
torch.cuda.manual_seed(0)
dist.init_process_group("nccl")

mesh = init_device_mesh("cuda", (world_size,))
qkv = [torch.randn(1, 4, 4096, 64, device="cuda", dtype=torch.bfloat16, requires_grad=True) for _ in range(3)]

with sdpa_kernel(SDPBackend.FLASH_ATTENTION), context_parallel(mesh, buffers=tuple(qkv), buffer_seq_dims=(2, 2, 2)):
    output = F.scaled_dot_product_attention(*qkv, is_causal=True)

output.float().square().mean().backward()
dist.destroy_process_group()

هنا، البُعد 2 هو بُعد التسلسل، لذلك يتلقى كل عملية جزء تسلسل بينما يتنسق الانتباه عبر شبكة الأجهزة.

في الممارسة العملية، يجب على المهندسين التأكد من أن الذاكرة المخفضة تفوق النفقات العامة للاتصالات، واستخدام شبكات ربط سريعة، وتقييم أطوال التسلسلات النموذجية. لمشاريع الرؤية القياسية، توفر منصة Ultralytics سير عمل سحابي ومحلي أبسط للتعليق على مجموعات البيانات، والتدريب، والنشر، والمراقبة دون الحاجة إلى تكوين سياقي متوازي يدوي.