Context Parallelism

التوازي السياقي هو تقنية حوسبة موزعة تقسّم تسلسل الإدخال الطويل بين عدة مسرّعات. وتعالج كل GPU جزءًا من التسلسل، بالتعاون مع الوحدات الأخرى أثناء الانتباه. ويقلل ذلك ذاكرة التفعيلات لكل جهاز، ما يتيح تدريب Transformer على مدخلات قد تتجاوز سعة ذاكرة GPU واحدة، مثل المستندات الطويلة جدًا أو مقاطع الفيديو الممتدة أو المجموعات الكبيرة من رقع الصور.

على خلاف توسيع نافذة السياق للنموذج ببساطة، لا يغيّر التوازي السياقي مقدار المعلومات التي يمكن للبنية قبولها نظريًا. بل يجعل معالجة هذا السياق ممكنة عمليًا من الناحية الحاسوبية بتوزيع بُعد التسلسل.

آلية عمل التوازي السياقي#

لنفترض أن تسلسلًا يتكون من 32,000 رمز وأن التوازي السياقي يستخدم أربع وحدات GPU. عندئذٍ يتلقى كل جهاز في البداية نحو 8,000 رمز ويخزّن التفعيلات الوسيطة المقابلة لها.

يمكن لمعظم العمليات، مثل التطبيع والطبقات ذات التغذية الأمامية، معالجة أجزاء التسلسل المحلية بصورة مستقلة. أما التحدي فيكمن في آلية الانتباه: فقد يحتاج استعلام محلي إلى الانتباه إلى مفاتيح وقيم موجودة على كل جهاز آخر.

لذلك، تتبادل عمليات التنفيذ كتل المفاتيح والقيم، أو KV، بين وحدات GPU. وفي انتباه الحلقة، يحسب كل جهاز انتباهًا جزئيًا باستخدام بياناته المحلية، ثم يمرر كتلة KV إلى الجهاز التالي، ويكرر ذلك حتى يعالج التسلسل كاملًا. ويوضح الدرس التطبيقي للتوازي السياقي في PyTorch هذا السلوك عبر الانتباه الموزع بناتج الضرب النقطي المُقاس، بينما تصف حزمة التوازي السياقي من NVIDIA خيارات الاتصال القائمة على جمع الكل وتقليل التشتت والحلقة.

تكون النتيجة النهائية مكافئة رياضيًا للانتباه إلى التسلسل كاملًا، مع مراعاة الفروق العددية المعتادة، لكن لا يُطلب من أي GPU واحدة الاحتفاظ بتفعيلات التسلسل كلها.

أهمية التوازي السياقي#

تسبب التسلسلات الطويلة مشكلتين رئيسيتين في قابلية التوسع. أولًا، تستهلك التفعيلات المحفوظة ذاكرة أكبر مع ازدياد طول التسلسل. ثانيًا، تقارن آلية الانتباه الذاتي القياسية بين الرموز في مختلف أجزاء التسلسل، ما ينتج عنه قدر كبير من الحسابات والبيانات المؤقتة.

يعالج التوازي السياقي مشكلة الذاكرة بتقسيم التفعيلات بين الأجهزة. ويمكنه أيضًا توزيع عمل الانتباه، إلا أن الاتصال يضيف تكلفة جديدة. وتتداخل الأنظمة الفعالة في نقل KV مع الحساب باستخدام عمليات مثل تلك الموثّقة في دليل عمليات التجميع الجماعي في NCCL.

تكون هذه التقنية أكثر فائدة عندما يكون طول التسلسل، لا أوزان النموذج أو حجم الدفعة، هو سبب نفاد الذاكرة. وهي جزء من المجال الأوسع لـالتدريب الموزع، وتُدمج عادةً مع استراتيجيات أخرى لتوسيع أبعاد متعددة في الوقت نفسه.

التوازي السياقي والتقنيات ذات الصلة#

• يقسّم التوازي الموتر العمليات أو مصفوفات الأوزان داخل الطبقات المفردة. أما التوازي السياقي فيقسّم الرموز على طول بُعد التسلسل.
• يسند التوازي الأنبوبي مجموعات مختلفة من طبقات النموذج إلى أجهزة مختلفة. وهو يقسّم عمق النموذج بدلًا من طول التسلسل.
• يكرّر توازي البيانات النموذج، ويزوّد كل نسخة بأمثلة تدريب مختلفة. ويوصي استعراض PyTorch للحوسبة الموزعة به عندما يتسع النموذج كاملًا وكل عينة على GPU واحدة.
• غالبًا ما يجزّئ توازي التسلسل التفعيلات للعمليات المحددة المرتبطة بتوازي الموتر. أما التوازي السياقي فيطبّق تقسيم التسلسل على نطاق أوسع عبر مدخلات الشبكة وتفعيلاتها.

هذه الأساليب متكاملة. ويوضح دليل NVIDIA لاستراتيجيات التوازي كيف يمكن لتوازي السياق والموتر والأنابيب والبيانات أن تشكّل تخطيطًا متعدد الأبعاد للأجهزة.

تطبيقات عملية#

• الذكاء الاصطناعي للمستندات الطويلة: قد يحتاج نموذج لغوي قانوني أو طبي إلى معالجة ملف قضية كامل أو سجل مريض أو دليل تقني. ويوزّع التوازي السياقي آلاف رموز المستند بين المسرّعات، ما يخفف الضغط على ذاكرة التفعيلات مع الحفاظ على الانتباه بين الأقسام المتباعدة.

• فهم الفيديو الطويل والوسائط المتعددة: قد تمثّل محولات الفيديو ونماذج الرؤية الكبيرة الإطارات ورقع الصور ومقاطع الصوت والنص في صورة تسلسل طويل واحد من الرموز. ويساعد توزيع ذلك التسلسل النماذج على تحليل التسجيلات الممتدة من دون تقليل عدد الإطارات أو التفاصيل المكانية بشدة. ويوضح استعراض AWS Neuron للتوازي السياقي كيفية تبادل مجموعات المسرّعات شظايا KV لأحمال العمل ذات السياقات الطويلة هذه.

بالنسبة إلى بنيات الرؤية الحاسوبية المدمجة، مثل Ultralytics YOLO26، لا تكون هناك حاجة عادةً إلى التوازي السياقي. ويكون توازي البيانات القياسي على وحدات GPU متعددة، من خلال سير عمل تدريب النماذج في Ultralytics، الطريقة الأنسب عمومًا لتسريع التدريب.

الاستخدام العملي والمفاضلات#

يستخدم المثال الموجز التالي واجهة برمجة التطبيقات التجريبية للتوازي السياقي في PyTorch وعناصر التحكم في الانتباه بناتج الضرب النقطي المُقاس. احفظه باسم cp_example.py وشغّله على وحدتي GPU باستخدام torchrun --standalone --nproc-per-node=2 cp_example.py.

import os

import torch
import torch.distributed as dist
import torch.nn.functional as F
from torch.distributed.device_mesh import init_device_mesh
from torch.distributed.tensor.experimental import context_parallel
from torch.nn.attention import SDPBackend, sdpa_kernel

rank = int(os.environ["RANK"])
world_size = int(os.environ["WORLD_SIZE"])

torch.cuda.set_device(rank)
torch.cuda.manual_seed(0)
dist.init_process_group("nccl")

mesh = init_device_mesh("cuda", (world_size,))
qkv = [torch.randn(1, 4, 4096, 64, device="cuda", dtype=torch.bfloat16, requires_grad=True) for _ in range(3)]

with sdpa_kernel(SDPBackend.FLASH_ATTENTION), context_parallel(mesh, buffers=tuple(qkv), buffer_seq_dims=(2, 2, 2)):
    output = F.scaled_dot_product_attention(*qkv, is_causal=True)

output.float().square().mean().backward()
dist.destroy_process_group()

هنا، يمثّل البُعد 2 بُعد التسلسل، لذا تتلقى كل عملية جزءًا من التسلسل، فيما ينسّق الانتباه عبر شبكة الأجهزة.

عمليًا، ينبغي للمهندسين التحقق من أن خفض استهلاك الذاكرة يفوق تكلفة الاتصال، واستخدام وصلات بينية سريعة، وقياس الأداء عند أطوال تسلسل تمثيلية. وبالنسبة إلى مشروعات الرؤية القياسية، توفر منصة Ultralytics مسارات عمل سحابية ومحلية أبسط لوسم مجموعات البيانات وتدريبها ونشرها ومراقبتها، من دون الحاجة إلى إعداد التوازي السياقي يدويًا.