QLoRA

تُعد QLoRA (التكييف منخفض الرتبة المكمّم) تقنية تحسين متقدمة تُستخدم في التعلّم العميق، وقد صُممت لجعل الضبط الدقيق لـالنماذج اللغوية الكبيرة (LLMs) فائقة الكفاءة. وقد قُدّمت لأول مرة في ورقة بحثية واسعة الاستشهاد على arXiv، وتُقلّل QLoRA بدرجة كبيرة متطلبات ذاكرة GPU اللازمة لتحديث النماذج التي تحتوي على مليارات المعاملات.

من خلال الاستفادة من تكميم النماذج المكثّف وصولًا إلى دقة 4 بت، يستطيع المطوّرون الآن تحسين النماذج الأساسية القوية التي أنشأتها في الأصل مؤسسات مثل OpenAI أو Anthropic، باستخدام وحدات GPU مخصّصة للمستهلكين العادية. ويُتيح هذا الاختراق وصولًا أوسع إلى الذكاء الاصطناعي التوليدي المتطور دون الحاجة إلى عناقيد خوادم باهظة التكلفة على مستوى المؤسسات.

كيفية عمل QLoRA#

يكمن الابتكار الأساسي في QLoRA في تقنياتها الموفّرة للذاكرة، والمبنية أساسًا على المفاهيم التأسيسية الموجودة في منهجيات تكميم PyTorch. فهي تقدّم نوعًا جديدًا من البيانات يُسمى 4-bit NormalFloat (NF4)، وقد جرى تحسينه رياضيًا للتعامل مع أوزان النماذج ذات التوزيع الطبيعي دون تدهور كبير في القدرات التنبؤية للشبكة.

بالإضافة إلى ذلك، تستخدم QLoRA استراتيجية تُعرف باسم التكميم المزدوج، وهي تقنية معروفة في أبحاث تعلّم الآلة الأوسع نطاقًا، إذ تكمّم ثوابت التكميم نفسها، مما يزيل المزيد من استهلاك الذاكرة غير الضروري. وبينما يظل النموذج الأساسي الضخم المدرّب مسبقًا مجمّدًا في حالة مضغوطة بدقة 4 بت، تُدرج موائمات صغيرة قابلة للتدريب في طبقات الشبكة. وعند حدوث الانتشار العكسي أثناء تدريب الشبكة العصبية، تمرّ التدرجات عبر الأوزان المجمّدة بدقة 4 بت لتحديث هذه الموائمات الصغيرة فائقة الكفاءة فقط.

QLoRA مقابل LoRA: فهم الاختلافات#

عند استكشاف الضبط الدقيق الفعّال من حيث المعاملات (PEFT)، يتساءل المستخدمون غالبًا عن اختلاف QLoRA عن LoRA (التكييف منخفض الرتبة) التقليدية. تعمل LoRA القياسية على تجميد أوزان النموذج الأصلي وتدريب مصفوفات منخفضة الرتبة لتكييف النموذج مع البيانات الجديدة. لكنها عادةً ما تحتفظ بالنموذج الأساسي بدقة 16 بت أو 32 بت. وتتقدم QLoRA خطوة مهمة إلى الأمام بضغط النموذج الأساسي إلى دقة 4 بت قبل تطبيق موائمات LoRA. ويؤدي ذلك إلى تقليص كبير في البصمة الذاكرية، مما يتيح وضع نموذج يضم 65 مليار معامل على وحدة GPU واحدة بسعة 48GB، وهو إنجاز مستحيل رياضيًا باستخدام LoRA القياسية.

التطبيقات الواقعية#

• روبوتات المحادثة والمساعدون للمؤسسات: تستخدم الشركات QLoRA بانتظام لضبط نماذج مفتوحة المصدر مثل Llama 3 من Meta على بيانات الأعمال الاحتكارية. ويتيح ذلك للمؤسسات إنشاء مساعدين للذكاء الاصطناعي عاليي الدقة ومتخصصين في مجالات محددة، يعملون على بنية الحوسبة السحابية المحلية والآمنة، دون تكاليف باهظة للأجهزة.
• عمليات نشر الذكاء الاصطناعي الطرفي: مع توسّع النماذج القائمة على النصوص إلى المجالات البصرية عبر نماذج الرؤية واللغة (VLMs)، تُمكّن QLoRA المطوّرين من تكييف البنى متعددة الوسائط الضخمة مع البيئات المقيّدة من حيث الأجهزة. وتستخدم فرق البحث في Google AI هذه التحسينات خفيفة الوزن على نطاق واسع لجلب قدرات الاستدلال المتقدمة إلى الهواتف المحمولة والمستشعرات البعيدة.

التدريب الفعّال في الرؤية الحاسوبية#

تتشارك الرؤية الحاسوبية (CV) الحديثة في سير العمل الفلسفة الأساسية لـ QLoRA، والمتمثلة في تعظيم الدقة الرياضية مع تقليل متطلبات الأجهزة. فعلى سبيل المثال، صُممت Ultralytics YOLO26 أصلًا للتعلّم بكفاءة والنشر الفوري على الأجهزة الطرفية منخفضة الطاقة. ويمكن للمطوّرين الذين يعملون مع مجموعات بيانات الرؤية المعقدة الاستفادة من منصة Ultralytics لإجراء التدريب السحابي بسلاسة، إذ تتولى المنصة بطبيعتها تحسين الذاكرة وتحديد حجم الدفعة.

فيما يلي مثال عملي يوضح كيفية تدريب نموذج رؤية فعّال باستخدام الدقة المختلطة التلقائية (AMP)، وهو مفهوم يرتبط ارتباطًا وثيقًا بأهداف QLoRA المتمثلة في توفير الذاكرة:

from ultralytics import YOLO

# Load the highly efficient Ultralytics YOLO26 nano model
model = YOLO("yolo26n.pt")

# Train the model utilizing mixed-precision (amp) to save GPU memory
# Similar to QLoRA, this optimizes hardware resources during training runs
results = model.train(data="coco8.yaml", epochs=10, imgsz=640, amp=True)

ومن خلال الاعتماد على خوارزميات التحجيم التلقائي للتدرجات ومعالجة البيانات المتينة، تتدرب النماذج بسرعة أكبر وتلائم وحدات GPU القياسية بسهولة، مما يسرّع الوصول إلى نشر نماذج الرؤية الحاسوبية بنجاح في بيئات الإنتاج المؤسسية.