ترخيص YOLO
العودة إلى مسرد Ultralytics

Gradient Checkpointing

يخزّن فحص نقاط التدرج بعض التنشيطات فقط في المرور الأمامي، ويعيد حساب البقية أثناء الانتشار العكسي، مقايضًا بذلك الحوسبة بالذاكرة.

إعادة الحساب بنقاط التحقق تقنية تدريب توفر الذاكرة عبر الاحتفاظ ببعض التنشيطات الوسيطة فقط من المرور الأمامي وإعادة حساب الباقي عندما تحتاج إليها الانتشار العكسي. وتُسمى أيضًا التحقق من التنشيطات أو إعادة التجسيد. اشتهر استخدامها في التعلم العميق على يد تيانكي تشين وبينغ شو وتشييوان تشانغ وكارلوس غوسترين في ورقتهم الصادرة في أبريل 2016 بعنوان تدريب الشبكات العميقة بتكلفة ذاكرة دون خطية، إذ بيّنوا أن شبكة ذات n طبقة يمكن تدريبها بذاكرة تتناسب مع √n مقابل كلفة مرور أمامي إضافي واحد. وعلى شبكة متبقية ذات 1,000 طبقة لمجموعة ImageNet، خفّضت طريقتهم الذاكرة من 48 GB إلى 7 GB، مقابل زيادة زمن التدريب بنحو 30%.

آلية عمل نقاط التحقق للتدرجات#

أثناء المرور الأمامي المعتاد، يخزّن محرك autograd ناتج كل عملية تقريبًا، لأن حساب التدرجات لاحقًا يحتاج إلى هذه النواتج. وفي الشبكات العميقة، أو الدفعات الكبيرة، أو الصور عالية الدقة، أو التسلسلات الطويلة، تستهلك هذه التنشيطات من ذاكرة GPU قدرًا أكبر بكثير مما تستهلكه أوزان النموذج. تقسّم تقنية نقاط التحقق الشبكة إلى مقاطع، ولا تحتفظ إلا بمدخل كل مقطع. وعندما يصل المرور الخلفي إلى مقطع، يعيد تنفيذ المرور الأمامي لذلك المقطع انطلاقًا من المدخل المحفوظ، ثم يُجري الانتشار العكسي عبره ويحرّر التنشيطات المعاد بناؤها قبل الانتقال إلى المقطع السابق:

يتيح PyTorch هذه الميزة باسم torch.utils.checkpoint.checkpoint، ويتيحها JAX باسم jax.checkpoint. يُظهر عدّ التنشيطات التي يخزنها autograd لشبكة من ثماني كتل مقدار التوفير، كما يُظهر أن التدرجات لا تتغير:

import torch
from torch import nn
from torch.utils.checkpoint import checkpoint

torch.manual_seed(0)
model = nn.Sequential(*[nn.Sequential(nn.Linear(1024, 4096), nn.GELU(), nn.Linear(4096, 1024)) for _ in range(8)])
x = torch.randn(256, 1024)
weights = {p.data_ptr() for p in model.parameters()}
saved, grads = [], []

for use_checkpoint in (False, True):
    saved.clear()
    # Record every tensor autograd keeps for the backward pass
    with torch.autograd.graph.saved_tensors_hooks(lambda t: saved.append(t) or t, lambda t: t):
        h = x
        for block in model:  # a checkpointed block keeps only its input and reruns its forward pass in backward
            h = checkpoint(block, h, use_reentrant=False) if use_checkpoint else block(h)
    h.square().mean().backward()
    activations = sum(t.numel() * t.element_size() for t in saved if t.data_ptr() not in weights)
    print(f"checkpoint={use_checkpoint}: {activations / 2**20:.0f} MB of stored activations")
    grads.append(model[0][0].weight.grad.clone())
    model.zero_grad()

print("Identical gradients:", torch.equal(*grads))

يطبع 72 MB عدد التنشيطات المخزنة دون استخدام نقاط التحقق، و8 MB العدد عند استخدامها، وIdentical gradients: True. تخزّن كل كتلة عادةً 9 MB، وهي مدخلها البالغ 1 MB إضافةً إلى موترين مخفيين سعة كل منهما 4 MB؛ وعند استخدام نقاط التحقق، لا تحتفظ إلا بالمدخل، بينما يعيد المرور الخلفي بناء كتلة واحدة بسعة 9 MB في كل مرة.

اختيار ما يُعاد حسابه#

يوفر وضع نقطة تحقق عند كل كتلة أكبر قدر من الذاكرة، لكنه يعيد تنفيذ المرور الأمامي بأكمله تقريبًا، ما يزيد الحوسبة بنحو الثلث في الطبقة النموذجية. وتستهدف إعادة الحساب الانتقائية العمليات التي تكون مخرجاتها كبيرة وكلفة حسابها منخفضة. أعاد فيجاي كورثيكانتي وزملاؤه في NVIDIA حساب الجزء الأساسي فقط من انتباه transformer، أي حساب الدرجات وsoftmax وdropout وترجيح القيم؛ وبالاقتران مع التوازي على مستوى التسلسل، خفّضوا ذاكرة التنشيطات خمسة أضعاف، وأزالوا أكثر من 90% من عبء إعادة الحساب. وتطبق Flash attention الفكرة نفسها داخل نواة واحدة عبر إعادة حساب درجات الانتباه أثناء المرور الخلفي بدلًا من تخزينها. أما GPipe، فيخزن التنشيطات عند الحدود بين مراحل التوازي عبر خطوط الأنابيب فقط، ويعيد حساب كل ما داخل كل مرحلة.

يجب أن تعيد عملية إعادة الحساب إنتاج المرور الأمامي الأصلي بدقة. يستعيد PyTorch حالة مولّد الأرقام العشوائية حتى تتطابق أقنعة dropout، كما تعطل نماذج Hugging Face Transformers ذاكرة KV المؤقتة عند التدريب مع تفعيل نقاط التحقق، لأن حالة الاستدلال المخزنة مؤقتًا تتعارض مع إعادة تشغيل الطبقات.

  • تراكم التدرجات: يقسّم دفعة كبيرة إلى دفعات مصغّرة تُعالج واحدة تلو الأخرى، ما يقلل التنشيطات في كل خطوة دون حوسبة إضافية، لكنه يزيد عدد الخطوات.
  • الدقة المختلطة: تخزّن التنشيطات بصيغ 16 بت مثل BF16، فتخفض استهلاك الذاكرة إلى النصف وتسرّع التدريب عادةً.
  • نقاط تحقق التدريب: ملفات للأوزان وحالة المُحسِّن تُحفظ لاستئناف التدريب أو للنشر؛ وهذا استخدام مختلف للكلمة.

يشيع استخدام نقاط التحقق عند الضبط الدقيق لـنماذج اللغة الكبيرة (LLMs) على GPU واحد، حيث تتيح Trainer من Hugging Face تفعيلها باستخدام gradient_checkpointing=True، وكذلك عند تدريب نماذج تجزئة الصور على صور طبية أو جوية كبيرة تهيمن فيها خرائط السمات على استهلاك الذاكرة. ويخزّن تدريب Ultralytics YOLO26 جميع التنشيطات، ويضبط ملاءمتها عبر حجم الدفعة بدلًا من ذلك: يشغّل batch=-1 في وضع التدريب أداة AutoBatch، التي تقيس الذاكرة عند أحجام دفعات متعددة وتختار الحجم الذي يُتوقع أن يشغل 60% من ذاكرة GPU؛ أما قيمة كسرية مثل batch=0.70 فتضبط الهدف على 70%.

استكشف الحلول

الرؤية الحاسوبية في الرياضة

الرؤية الحاسوبية في الرياضة

اكتشف كيف يعزّز Ultralytics YOLO الرؤية الحاسوبية الرياضية عبر تتبّع اللاعبين والكرة، وتحليلات الأداء، ورؤى التدريب، وإعادة تأهيل الرياضيين.
معرفة المزيد
الرؤية الحاسوبية للصور الجوية

الرؤية الحاسوبية للصور الجوية

حوّل صور الطائرات المسيّرة والصور الجوية إلى رؤى آنية للزراعة وتربية الأحياء المائية والحفاظ على البيئة والتحليل الجغرافي المكاني باستخدام Ultralytics YOLO.
معرفة المزيد
الرؤية الحاسوبية في قطاع الطيران والفضاء

الرؤية الحاسوبية في قطاع الطيران والفضاء

طبّق الرؤية الحاسوبية في مجال الطيران والفضاء باستخدام Ultralytics YOLO لفحص الطائرات، واكتشاف الأجسام الغريبة على المدارج (FOD)، والعمليات الأرضية في المطارات، واكتشاف عيوب المواد المركّبة.
معرفة المزيد
الرؤية الحاسوبية في مجال الأمن

الرؤية الحاسوبية في مجال الأمن

احمِ كل موقع باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري مراقبة المحيط، واكتشاف التهديدات، والتعرف على لوحات المركبات، والسلامة في مكان العمل.
معرفة المزيد
الرؤية الحاسوبية في الروبوتات

الرؤية الحاسوبية في الروبوتات

عزّز أداء الآلات الذكية باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري في الروبوتات الملاحة الذاتية والإدراك وتعقب الأجسام والتحكم الآني.
معرفة المزيد
الرؤية الحاسوبية في الخدمات اللوجستية

الرؤية الحاسوبية في الخدمات اللوجستية

بسّط العمليات اللوجستية باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري فحص الطرود وفرزها وتتبع المركبات ومراقبة سلامة المستودعات في الوقت الفعلي.
معرفة المزيد
الرؤية الحاسوبية في تجارة التجزئة

الرؤية الحاسوبية في تجارة التجزئة

أعِد تصور تجارة التجزئة باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري تتبع المخزون ومراقبة الرفوف وإدارة الطوابير واستخلاص رؤى أذكى عن العملاء.
معرفة المزيد
الرؤية الحاسوبية في الرعاية الصحية

الرؤية الحاسوبية في الرعاية الصحية

أنشئ حلولًا للرعاية الصحية باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي البصري في الرعاية الصحية سرعة التصوير الطبي، وكفاءة التشخيص، ومراقبة المرضى.
معرفة المزيد
الرؤية الحاسوبية في التصنيع

الرؤية الحاسوبية في التصنيع

حسّن التصنيع باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية مراقبة الجودة واكتشاف العيوب والالتزام بمعدات الوقاية الشخصية وأتمتة خطوط التجميع.
معرفة المزيد
الرؤية الحاسوبية في قطاع السيارات

الرؤية الحاسوبية في قطاع السيارات

طبّق الرؤية الحاسوبية في قطاع السيارات باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية سلامة الطرق ومساعدة السائق وأتمتة المركبات لإنشاء طرق أكثر ذكاءً.
معرفة المزيد
الرؤية الحاسوبية في الزراعة

الرؤية الحاسوبية في الزراعة

أدخل الذكاء الاصطناعي البصري إلى الزراعة الذكية باستخدام نماذج Ultralytics YOLO. عزّز مراقبة المحاصيل وتتبع الماشية والزراعة الدقيقة لزيادة الإنتاجية وتحسينها.
معرفة المزيد

لنبنِ مستقبل الذكاء الاصطناعي معًا!

ابدأ رحلتك نحو مستقبل تعلّم الآلة