Gradient Checkpointing
يخزّن فحص نقاط التدرج بعض التنشيطات فقط في المرور الأمامي، ويعيد حساب البقية أثناء الانتشار العكسي، مقايضًا بذلك الحوسبة بالذاكرة.
إعادة الحساب بنقاط التحقق تقنية تدريب توفر الذاكرة عبر الاحتفاظ ببعض التنشيطات الوسيطة فقط من المرور الأمامي وإعادة حساب الباقي عندما تحتاج إليها الانتشار العكسي. وتُسمى أيضًا التحقق من التنشيطات أو إعادة التجسيد. اشتهر استخدامها في التعلم العميق على يد تيانكي تشين وبينغ شو وتشييوان تشانغ وكارلوس غوسترين في ورقتهم الصادرة في أبريل 2016 بعنوان تدريب الشبكات العميقة بتكلفة ذاكرة دون خطية، إذ بيّنوا أن شبكة ذات n طبقة يمكن تدريبها بذاكرة تتناسب مع √n مقابل كلفة مرور أمامي إضافي واحد. وعلى شبكة متبقية ذات 1,000 طبقة لمجموعة ImageNet، خفّضت طريقتهم الذاكرة من 48 GB إلى 7 GB، مقابل زيادة زمن التدريب بنحو 30%.
آلية عمل نقاط التحقق للتدرجات#
أثناء المرور الأمامي المعتاد، يخزّن محرك autograd ناتج كل عملية تقريبًا، لأن حساب التدرجات لاحقًا يحتاج إلى هذه النواتج. وفي الشبكات العميقة، أو الدفعات الكبيرة، أو الصور عالية الدقة، أو التسلسلات الطويلة، تستهلك هذه التنشيطات من ذاكرة GPU قدرًا أكبر بكثير مما تستهلكه أوزان النموذج. تقسّم تقنية نقاط التحقق الشبكة إلى مقاطع، ولا تحتفظ إلا بمدخل كل مقطع. وعندما يصل المرور الخلفي إلى مقطع، يعيد تنفيذ المرور الأمامي لذلك المقطع انطلاقًا من المدخل المحفوظ، ثم يُجري الانتشار العكسي عبره ويحرّر التنشيطات المعاد بناؤها قبل الانتقال إلى المقطع السابق:
يتيح PyTorch هذه الميزة باسم torch.utils.checkpoint.checkpoint، ويتيحها JAX باسم jax.checkpoint. يُظهر عدّ التنشيطات التي يخزنها autograd لشبكة من ثماني كتل مقدار التوفير، كما يُظهر أن التدرجات لا تتغير:
import torch
from torch import nn
from torch.utils.checkpoint import checkpoint
torch.manual_seed(0)
model = nn.Sequential(*[nn.Sequential(nn.Linear(1024, 4096), nn.GELU(), nn.Linear(4096, 1024)) for _ in range(8)])
x = torch.randn(256, 1024)
weights = {p.data_ptr() for p in model.parameters()}
saved, grads = [], []
for use_checkpoint in (False, True):
saved.clear()
# Record every tensor autograd keeps for the backward pass
with torch.autograd.graph.saved_tensors_hooks(lambda t: saved.append(t) or t, lambda t: t):
h = x
for block in model: # a checkpointed block keeps only its input and reruns its forward pass in backward
h = checkpoint(block, h, use_reentrant=False) if use_checkpoint else block(h)
h.square().mean().backward()
activations = sum(t.numel() * t.element_size() for t in saved if t.data_ptr() not in weights)
print(f"checkpoint={use_checkpoint}: {activations / 2**20:.0f} MB of stored activations")
grads.append(model[0][0].weight.grad.clone())
model.zero_grad()
print("Identical gradients:", torch.equal(*grads))يطبع 72 MB عدد التنشيطات المخزنة دون استخدام نقاط التحقق، و8 MB العدد عند استخدامها، وIdentical gradients: True. تخزّن كل كتلة عادةً 9 MB، وهي مدخلها البالغ 1 MB إضافةً إلى موترين مخفيين سعة كل منهما 4 MB؛ وعند استخدام نقاط التحقق، لا تحتفظ إلا بالمدخل، بينما يعيد المرور الخلفي بناء كتلة واحدة بسعة 9 MB في كل مرة.
اختيار ما يُعاد حسابه#
يوفر وضع نقطة تحقق عند كل كتلة أكبر قدر من الذاكرة، لكنه يعيد تنفيذ المرور الأمامي بأكمله تقريبًا، ما يزيد الحوسبة بنحو الثلث في الطبقة النموذجية. وتستهدف إعادة الحساب الانتقائية العمليات التي تكون مخرجاتها كبيرة وكلفة حسابها منخفضة. أعاد فيجاي كورثيكانتي وزملاؤه في NVIDIA حساب الجزء الأساسي فقط من انتباه transformer، أي حساب الدرجات وsoftmax وdropout وترجيح القيم؛ وبالاقتران مع التوازي على مستوى التسلسل، خفّضوا ذاكرة التنشيطات خمسة أضعاف، وأزالوا أكثر من 90% من عبء إعادة الحساب. وتطبق Flash attention الفكرة نفسها داخل نواة واحدة عبر إعادة حساب درجات الانتباه أثناء المرور الخلفي بدلًا من تخزينها. أما GPipe، فيخزن التنشيطات عند الحدود بين مراحل التوازي عبر خطوط الأنابيب فقط، ويعيد حساب كل ما داخل كل مرحلة.
يجب أن تعيد عملية إعادة الحساب إنتاج المرور الأمامي الأصلي بدقة. يستعيد PyTorch حالة مولّد الأرقام العشوائية حتى تتطابق أقنعة dropout، كما تعطل نماذج Hugging Face Transformers ذاكرة KV المؤقتة عند التدريب مع تفعيل نقاط التحقق، لأن حالة الاستدلال المخزنة مؤقتًا تتعارض مع إعادة تشغيل الطبقات.
تقنيات الذاكرة ذات الصلة#
- تراكم التدرجات: يقسّم دفعة كبيرة إلى دفعات مصغّرة تُعالج واحدة تلو الأخرى، ما يقلل التنشيطات في كل خطوة دون حوسبة إضافية، لكنه يزيد عدد الخطوات.
- الدقة المختلطة: تخزّن التنشيطات بصيغ 16 بت مثل BF16، فتخفض استهلاك الذاكرة إلى النصف وتسرّع التدريب عادةً.
- نقاط تحقق التدريب: ملفات للأوزان وحالة المُحسِّن تُحفظ لاستئناف التدريب أو للنشر؛ وهذا استخدام مختلف للكلمة.
يشيع استخدام نقاط التحقق عند الضبط الدقيق لـنماذج اللغة الكبيرة (LLMs) على GPU واحد، حيث تتيح Trainer من Hugging Face تفعيلها باستخدام gradient_checkpointing=True، وكذلك عند تدريب نماذج تجزئة الصور على صور طبية أو جوية كبيرة تهيمن فيها خرائط السمات على استهلاك الذاكرة. ويخزّن تدريب Ultralytics YOLO26 جميع التنشيطات، ويضبط ملاءمتها عبر حجم الدفعة بدلًا من ذلك: يشغّل batch=-1 في وضع التدريب أداة AutoBatch، التي تقيس الذاكرة عند أحجام دفعات متعددة وتختار الحجم الذي يُتوقع أن يشغل 60% من ذاكرة GPU؛ أما قيمة كسرية مثل batch=0.70 فتضبط الهدف على 70%.










