QLoRA

تُعد QLoRA (Quantized Low-Rank Adaptation) تقنية تحسين متقدمة تُستخدم في التعلم العميق ومصممة لجعل الضبط الدقيق لـ النماذج اللغوية الكبيرة (LLMs) الضخمة عالية الكفاءة. طُرحت هذه التقنية لأول مرة في ورقة بحثية واسعة الانتشار على arXiv، وهي تقلل بشكل كبير من متطلبات ذاكرة GPU اللازمة لتحديث النماذج التي تحتوي على مليارات المعاملات.

من خلال الاستفادة من تكميم النموذج القوي وصولاً إلى دقة 4-بت، يمكن للمطورين الآن تحسين النماذج التأسيسية القوية التي أنشأتها في الأصل مؤسسات مثل OpenAI أو Anthropic باستخدام وحدات معالجة الرسومات (GPUs) الاستهلاكية القياسية. تساهم هذه الطفرة في جعل الوصول إلى الذكاء الاصطناعي التوليدي المتطور أمراً متاحاً للجميع دون الحاجة إلى مجموعات خوادم باهظة الثمن على مستوى المؤسسات.

Link to this sectionكيف تعمل QLoRA#

يكمن الابتكار الأساسي لـ QLoRA في تقنياتها الموفرة للذاكرة، والمبنية بشكل أساسي على المفاهيم التأسيسية الموجودة في منهجيات تكميم PyTorch. فهي تقدم نوع بيانات مبتكراً يسمى 4-bit NormalFloat (NF4)، والذي تم تحسينه رياضياً للتعامل مع معاملات النموذج ذات التوزيع الطبيعي دون تقليل قدرات الشبكة التنبؤية بشكل كبير.

بالإضافة إلى ذلك، توظف QLoRA استراتيجية تُعرف باسم التكميم المزدوج (Double Quantization)، وهي تقنية معترف بها في أبحاث تعلم الآلة الأوسع، حيث تقوم بتكميم ثوابت التكميم نفسها، مما يزيد من تقليل استهلاك الذاكرة غير الضروري. وبينما يظل النموذج الأساسي الضخم المدرب مسبقاً مجمداً في حالة مضغوطة بدقة 4-بت، يتم إدراج محولات صغيرة قابلة للتدريب في طبقات الشبكة. عند حدوث الانتشار العكسي أثناء تدريب الشبكة العصبية، يتم تمرير التدرجات عبر المعاملات المجمدة بدقة 4-بت لتحديث هذه المحولات الصغيرة وعالية الكفاءة فقط.

Link to this sectionQLoRA مقابل LoRA: فهم الاختلافات#

عند استكشاف الضبط الدقيق الفعال للمعاملات (PEFT)، غالباً ما يتساءل المستخدمون عن كيفية اختلاف QLoRA عن LoRA (Low-Rank Adaptation) التقليدي. يقوم LoRA القياسي بتجميد معاملات النموذج الأصلية وتدريب مصفوفات منخفضة الرتبة لتكييف النموذج مع بيانات جديدة. ومع ذلك، فإنه عادةً ما يحتفظ بالنموذج الأساسي بدقة 16-بت أو 32-بت. تخطو QLoRA خطوة حاسمة إلى الأمام من خلال ضغط النموذج الأساسي إلى دقة 4-بت قبل تطبيق محولات LoRA. هذا يقلل بشكل كبير من استهلاك الذاكرة، مما يسمح لنموذج يحتوي على 65 مليار معامل بأن يتناسب مع وحدة GPU واحدة بسعة 48 جيجابايت—وهو إنجاز مستحيل رياضياً باستخدام LoRA القياسي.

Link to this sectionتطبيقات العالم الحقيقي#

• روبوتات الدردشة والمساعدون للمؤسسات: تستخدم الشركات بشكل روتيني QLoRA لضبط النماذج مفتوحة المصدر مثل Llama 3 الخاص بـ Meta على بيانات الأعمال الخاصة. يسمح هذا للمؤسسات ببناء مساعدين ذكاء اصطناعي دقيقين للغاية ومخصصين لنطاق عمل معين، يعملون على بنية تحتية محلية وآمنة لـ الحوسبة السحابية دون تكاليف أجهزة باهظة.
• نشر ذكاء الحافة الاصطناعي: مع توسع النماذج النصية لتشمل المجالات المرئية عبر نماذج الرؤية واللغة (VLMs)، تمكن QLoRA المطورين من تخصيص بنى ضخمة متعددة الوسائط للبيئات ذات الموارد المحدودة. يتم استخدام هذه التحسينات الخفيفة بكثافة من قبل فرق البحث في Google AI لتقديم قدرات استنتاج متقدمة للهواتف المحمولة وأجهزة الاستشعار عن بعد.

Link to this sectionالتدريب الفعال في رؤية الحاسوب#

الفلسفة الكامنة وراء QLoRA—تعظيم الدقة الرياضية مع تقليل متطلبات الأجهزة—مشتركة في سير عمل رؤية الحاسوب (CV) الحديثة. على سبيل المثال، صُممت Ultralytics YOLO26 بشكل طبيعي للتعلم بكفاءة والنشر الفوري على أجهزة الحافة ذات الطاقة المنخفضة. يمكن للمطورين الذين يعملون مع مجموعات بيانات رؤية معقدة الاستفادة من منصة Ultralytics لـ التدريب السحابي السلس، والذي يتعامل بطبيعته مع تحسين الذاكرة وتحديد حجم الدفعات.

فيما يلي مثال عملي لكيفية تدريب نموذج رؤية فعال باستخدام الدقة المختلطة التلقائية (AMP)، وهو مفهوم وثيق الصلة بأهداف توفير الذاكرة لـ QLoRA:

from ultralytics import YOLO

# Load the highly efficient Ultralytics YOLO26 nano model
model = YOLO("yolo26n.pt")

# Train the model utilizing mixed-precision (amp) to save GPU memory
# Similar to QLoRA, this optimizes hardware resources during training runs
results = model.train(data="coco8.yaml", epochs=10, imgsz=640, amp=True)

من خلال الاعتماد على معالجة البيانات القوية وخوارزميات توسيع التدرج التلقائي، يتم تدريب النماذج بشكل أسرع وتتناسب بسهولة مع وحدات GPU القياسية، مما يسرع الطريق نحو نشر نماذج رؤية الحاسوب بنجاح في بيئات إنتاج المؤسسات.