التكيف منخفض الرتبة (LoRA)

كيف تعمل LoRA

يتضمن الضبط الدقيق التقليدي تحديث جميع المعلمات (أو أوزان النموذج) لنموذج مُدرَّب مسبقاً باستخدام بيانات جديدة. بالنسبة للنماذج التي تحتوي على مليارات المعلمات، مثل العديد من نماذج LLMs الحديثة أو نماذج الرؤية الكبيرة، تتطلب هذه العملية موارد حاسوبية كبيرة، خاصةً GPU والوقت. تعمل LoRA على المبدأ الذي تدعمه الأبحاث، وهو أن التغييرات اللازمة لتكييف نموذج ما غالبًا ما تكون في مساحة منخفضة الأبعاد، مما يعني أنها لا تتطلب تغيير كل وزن على حدة.

وبدلاً من تعديل جميع الأوزان الأصلية، تقوم LoRA بتجميدها وحقن مصفوفات أصغر حجماً وقابلة للتدريب "منخفضة الرتبة" في طبقات محددة من بنية النموذج، وغالباً ما تكون ضمن كتل المحولات (وهو مكون شائع في العديد من النماذج الكبيرة، وقد تم شرحه بمزيد من التفصيل في ورقة "الانتباه هو كل ما تحتاجه"). يتم تحديث هذه المصفوفات المضافة حديثًا فقط (غالبًا ما تسمى المحولات) أثناء عملية الضبط الدقيق. هذا يقلل بشكل كبير من عدد المعلمات القابلة للتدريب، غالبًا بأوامر من حيث الحجم (على سبيل المثال، الملايين بدلاً من المليارات)، مع الاستمرار في تحقيق أداء مماثل للضبط الدقيق الكامل في العديد من الحالات. توفر ورقة بحث LoRA الأصلية مزيدًا من التفاصيل الفنية حول المنهجية وفعاليتها. هذا النهج يجعل عملية الضبط الدقيق أسرع بكثير وأقل استهلاكاً للذاكرة.

الملاءمة والفوائد

الميزة الأساسية لـ LoRA هي كفاءتها، مما يؤدي إلى العديد من الفوائد الرئيسية:

• انخفاض التكلفة الحسابية: يتطلب ذاكرة وقدرة حوسبة أقل بكثير GPU مقارنةً بالضبط الدقيق الكامل، مما يجعل من الممكن تكييف النماذج الكبيرة على أجهزة أقل قوة.
• بصمة تخزين أصغر: نظرًا لتجميد أوزان النموذج الأصلي، يجب حفظ محولات LoRA الصغيرة فقط لكل مهمة محددة. هذا أكثر كفاءة بكثير من تخزين نسخة كاملة من النموذج المضبوط بدقة لكل مهمة.
• تبديل أسرع للمهام: يسمح تحميل محولات LoRA المختلفة بالتبديل السريع بين المهام دون تحميل نماذج كبيرة جديدة بالكامل.
• أداء قابل للمقارنة: على الرغم من تدريب عدد أقل بكثير من المعلمات، غالبًا ما تحقق LoRA مستويات دقة مماثلة لتلك التي تم الحصول عليها من خلال الضبط الدقيق الكامل لمهام محددة في المراحل النهائية.
• تمكين نشر الحافة: تعمل متطلبات الموارد المنخفضة على تسهيل تكييف النماذج لسيناريوهات الحوسبة الطرفية حيث تكون الطاقة الحاسوبية والذاكرة محدودة، مما يوفر قدرات ذكاء اصطناعي قوية لأجهزة مثل الهواتف الذكية أو الأنظمة المدمجة(شرح الذكاء الاصطناعي الحديدي من Intel).
• إضفاء الطابع الديمقراطي: يقلل من حاجز الدخول للباحثين والمطورين الراغبين في تخصيص أحدث النماذج مثل GPT-4 أو Ultralytics YOLO النماذج.

تطبيقات قانون لورا

إن كفاءة LoRA تجعلها ذات قيمة في مختلف المجالات:

1. تكييف نماذج اللغات الكبيرة (LLMs): هذا هو أحد الاستخدامات الأكثر شيوعًا. يمكن للمطوّرين أخذ نماذج LLM ضخمة مدربة مسبقاً (مثل تلك المتوفرة من خلال Hugging Face) واستخدام LoRA لتخصيصها لتطبيقات محددة مثل روبوتات الدردشة المخصصة أو أنظمة الإجابة عن الأسئلة الخاصة بالمجال أو تحسين تلخيص النصوص لأنواع معينة من المستندات. توفر مكتبات مثل مكتبة PEFT الخاصة بHugging Face تطبيقات سهلة ل LoRA.
2. تخصيص نماذج الرؤية الحاسوبية: يمكن تطبيق LoRA على نماذج الرؤية الحاسوبية الكبيرة لمهام مثل اكتشاف الأجسام أو تجزئة الصور أو تقدير الوضعية. على سبيل المثال، يمكن ضبط نموذج Ultralytics YOLO المدرب مسبقًا على مجموعة بيانات كبيرة مثل COCO بكفاءة باستخدام LoRA للكشف عن أنواع معينة من الكائنات في مجال متخصص، مثل الأنواع المهددة بالانقراض للحفاظ على الحياة البرية أو عيوب معينة في مراقبة جودة التصنيع. يمكن لمنصات مثل Ultralytics HUB تبسيط عملية تدريب ونشر مثل هذه النماذج المعدلة.

لورا مقابل المفاهيم ذات الصلة

من المفيد التمييز بين LoRA وتقنيات تكييف النماذج الأخرى:

• الضبط الكامل: تقوم هذه الطريقة بتحديث جميع أوزان نموذج مُدرّب مسبقًا على مجموعة بيانات جديدة. على الرغم من فعاليتها في كثير من الأحيان، إلا أنها تتطلب موارد حسابية كبيرة وتخزينًا كبيرًا لكل نموذج مُعدّل. في المقابل، تقوم LoRA بتجميد الأوزان الأصلية وتدريب مصفوفات المحول الصغيرة المحقونة فقط. يمكنك العثور على مزيد من التفاصيل في مدخل مسرد مصطلحات الضبط الدقيق الخاص بنا والنظرة العامة للضبط الدقيق منNVIDIA.
• الضبط الموجه: تُبقي هذه التقنية أوزان النموذج مجمّدة تمامًا، وبدلًا من ذلك تتعلم "موجهات ناعمة" مستمرة (متجهات مضافة إلى تضمينات المدخلات) لتوجيه سلوك النموذج لمهام محددة. على عكس LoRA، فهو لا يعدل أي أوزان للنموذج، بل يركز فقط على تكييف تمثيل المدخلات. اقرأ المزيد حول الضبط الفوري وهندسة التوجيهات.
• طرق أخرى لضبط كفاءة المعلمات: LoRA هي مجرد تقنية واحدة ضمن المجال الأوسع للضبط الفعال للمعلمات (PEFT). تشمل الأساليب الأخرى ضبط المحول (مشابه ولكن بهياكل محول مختلفة قليلاً)، وضبط البادئة، و IA³، وكل منها يقدم مفاضلات مختلفة في كفاءة المعلمة والأداء.

باختصار، يوفر نظام LoRA طريقة قوية وفعالة من حيث الموارد لتخصيص نماذج أساسية كبيرة مدربة مسبقًا لمجموعة واسعة من المهام المحددة في كل من البرمجة اللغوية العصبية والرؤية الحاسوبية، مما يجعل الذكاء الاصطناعي المتقدم أكثر عملية وسهولة.